专业公司网站制作公司,优秀设计案例作品,东莞浩智建设网站公司,昆明网站seo服务HDFS Erasure coding-纠删码介绍和原理 三副本策略弊端Erasure Coding#xff08;EC#xff09;简介Reed- Solomon#xff08;RS#xff09;码 EC架构 三副本策略弊端
为了提供容错能力#xff0c;hdfs回根据replication factor#xff08;复制因子#xff09;在不同的… HDFS Erasure coding-纠删码介绍和原理 三副本策略弊端Erasure CodingEC简介Reed- SolomonRS码 EC架构 三副本策略弊端
为了提供容错能力hdfs回根据replication factor复制因子在不同的datanode上复制文本块默认复制因子为3注意这里的3指的是123不是额外3个则原始块除外还将有额外两个副本。每个副本使用100%的存储开销因此导致200%的存储开销。这些副本也消耗其他资源例如网络带宽在复制因子为N时存在N-1个容错能力但存储效率仅为1/N
Erasure CodingEC简介
纠删码技术简称EC是一种编码容错技术。最早用于通信行业数据传输中的数据恢复。它通过对数据进行分块然后计算出校验数据是的各个部分的数据产生关联性。当一部分数据块丢失时可以通过剩余的数据块和校验块计算出丢失的数据块Hadoop3.0之后引入了纠删码技术它可以提高50%以上的存储利用率并且保证数据的可靠性
Reed- SolomonRS码
reed-solomon(rs)码是常用的一种纠删码它有两个参数k和m记为RSkmk个数据块组成一个向量被乘上一个生成矩阵Generator MatrixGT从而得到一个码字codeword向量该向量由k个数据块d0d1…d3和m个校验块c0c1组成如果数据块丢失可以用GT逆矩阵乘以码字向量来恢复出丢失的数据块。
EC架构
为了支持纠删码HDFS体系结构进行了一些更改调整
namenode扩展 条带化的HDFS文件在逻辑上由block group块组组成每个块组包含一定数量的内部块。这允许在块组级别而不是块级别进行文件管理 客户端扩展 客户端的读写路径的到来增强可以并行处理块组中的多个内部块 datanode扩展 datanode运行一个附加的ECWorker任务以对失败纠删编码块进行后台恢复。namenode检测到是吧的EC块然后namenode选择一个datanode进行恢复工作 纠删码策略 为了适应异构的工作负载允许HDFS集群中的文件和目录具有不同的复制和纠删码策略。纠删码策略封装了如何对文件进行编码/解码。默认情况下启用RS-6-31024k策略RS便是编码算法Reed-Solomon6,3中表示数据块和奇偶校验块的数量1024k表示条带化单元的大小 目录上还支持默认的REPLICSTION方案。它只能在目录上设置以强制目录采用3倍复制方案而不是继承器族乡的纠缠吗策略。此策略可以是3x复制方案目录与纠错码目录交错。REPLICSTION始终处于穷状态 此外也支持用户通过XML文件定义自己的EC策略Hadoop conf目录中有一个名为uers_ec_policies.xml.template的示例EC策略XML文件用户可以参考该文件Inter ISA-L 英特尔ISA-L代表英特尔智能存储加速库。isa-l是针对存储应用程序而优化的低级功能开源集合。它包括针对Intel AVX和AVX2指令优化的快速块Reed- Solomon类型擦除代码。HDFS纠删码可以利用ISA-L加速编码和加码计算
