网站维护教程,html菜单改为wordpress,网站推广工具大全,网站建设设计软件一、HDFS数据如何存储 分布式存储#xff1a;每个服务器#xff08;节点#xff09;存储文件的一部分, 本文提到的part只是为方便理解, 指的文件部分数据, 并不是真实存在的概念 #mermaid-svg-qjJMG6r2bzRNcWkF {font-family:trebuchet ms,verdana,arial,sans-s…一、HDFS数据如何存储 分布式存储每个服务器节点存储文件的一部分, 本文提到的part只是为方便理解, 指的文件部分数据, 并不是真实存在的概念 #mermaid-svg-qjJMG6r2bzRNcWkF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .error-icon{fill:#552222;}#mermaid-svg-qjJMG6r2bzRNcWkF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-qjJMG6r2bzRNcWkF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-qjJMG6r2bzRNcWkF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-qjJMG6r2bzRNcWkF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-qjJMG6r2bzRNcWkF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-qjJMG6r2bzRNcWkF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-qjJMG6r2bzRNcWkF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-qjJMG6r2bzRNcWkF .marker.cross{stroke:#333333;}#mermaid-svg-qjJMG6r2bzRNcWkF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-qjJMG6r2bzRNcWkF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .cluster-label text{fill:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .cluster-label span{color:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .label text,#mermaid-svg-qjJMG6r2bzRNcWkF span{fill:#333;color:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .node rect,#mermaid-svg-qjJMG6r2bzRNcWkF .node circle,#mermaid-svg-qjJMG6r2bzRNcWkF .node ellipse,#mermaid-svg-qjJMG6r2bzRNcWkF .node polygon,#mermaid-svg-qjJMG6r2bzRNcWkF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-qjJMG6r2bzRNcWkF .node .label{text-align:center;}#mermaid-svg-qjJMG6r2bzRNcWkF .node.clickable{cursor:pointer;}#mermaid-svg-qjJMG6r2bzRNcWkF .arrowheadPath{fill:#333333;}#mermaid-svg-qjJMG6r2bzRNcWkF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-qjJMG6r2bzRNcWkF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-qjJMG6r2bzRNcWkF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-qjJMG6r2bzRNcWkF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-qjJMG6r2bzRNcWkF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-qjJMG6r2bzRNcWkF .cluster text{fill:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF .cluster span{color:#333;}#mermaid-svg-qjJMG6r2bzRNcWkF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-qjJMG6r2bzRNcWkF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 已部署三节点集群,有一个文件file需要存储 file文件会被分成3份 part1 part2 part3 block block block block block block block block block 二、HDFS如何保证安全
问题1、文件大小不同,如何管理?
HDFS集群设定统一的管理单位: Block块, 它是HDFS集群最小的物理单位, 默认大小是256MB,支持修改, 文件分成3个Part,每个Part又分为3个Block块存入对应服务器 问题2、如何避免某个Block丢失或者损坏?
如上所示分为多个Block块存储, 如果任意一个Block块丢失就导致文件不完整了 Block块越多损坏的几率就越大 通过配置多个副本可以解决, 给每个Block块设置2个副本可修改,每个块都有2个副本备份在其它服务器上,大大提升了数据安全性; 如下图所示
三、Block的配置
1、如何配置HDFS数据块的副本数量
如果需要自定义这个属性请修改每一台服务器的hdfs-site.xml文件并设置此属性。这个属性默认是3一般情况下无需主动配置
propertynamedfs.replication/namevalue3/value
/property除了配置文件外可在上传文件的时候临时决定被上传文件以多少个副本存储。 hadoop fs -D dfs.replication2 -put test.txt /
如上命令就可以在上传test.txt的时候临时设置其副本数为2对于已经存在HDFS的文件修改dfs.replication属性不会生效如果要修改已存在文件可以通过命令
hadoop fs -setrep [-R] 2 path
如上命令指定path的内容将会被修改为2个副本存储。-R选项可选使用-R表示对子目录也生效。2、fsck命令检查文件的副本数
使用hdfs提供的fsck命令来检查文件的副本数
hdfs fsck path [-files [-blocks [-locations]]]fsck可以检查指定路径是否正常-files可以列出路径内的文件状态-files -blocks 输出文件块报告有几个块多少副本-files -blocks -locations 输出每一个block的详情3、调整Block块默认大小
hdfs默认设置为256MB一个也就是1GB文件会被划分为4个block存储。 Block块大小可以在 hdfs-site.xml中配置如下属性参数调整
propertynamedfs.blocksize/namevalue268435456/valuedescription设置HDFS块大小单位是b,如上设置为256MB/description
/property四、Namenode元数据
1、如何管理Block块
NameNode基于一批edits和一个fsimage文件的配合, 完成整个文件系统的管理和维护 edits文件是一个流水账文件记录了hdfs中的每一次操作以及本次操作影响的文件其对应的block, 将全部的edits文件合并为最终结果即可得到一个FSImage文件。 合并元数据的事情就是SecondaryNameNode干的, 它会通过http从NameNode拉取数据edits和fsimage 然后合并完成后提供给NameNode使用。 1. 每次对HDFS的操作均被edits文件记录
2. edits达到大小上限后开启新的edits记录
3. 定期进行edits的合并操作
如当前没有fsimage文件 将全部edits合并为第一个fsimage
如当前已存在fsimage文件将全部edits和已存在的fsimage进行合并形成新的fsimage对于元数据的合并是一个定时过程基于以下只要有一个达到条件就执行。
dfs.namenode.checkpoint.period默认3600秒即1小时
dfs.namenode.checkpoint.txns默认1000000即100W次事务检查是否达到条件默认60秒检查一次基于
dfs.namenode.checkpoint.check.period默认60秒来决定2、HDFS写入流程
1. 客户端向NameNode发起请求
2. NameNode审核权限、剩余空间后满足条件允许写入并告知客户端写入的DataNode地址
3. 客户端向指定的DataNode发送数据包
4. 被写入数据的DataNode同时完成数据副本的复制工作将其接收的数据分发给其它DataNode
5. DataNode1复制给DataNode2然后基于DataNode2复制给Datanode3和DataNode4
6. 写入完成客户端通知NameNodeNameNode做元数据记录工作注意: 1.NameNode不负责数据写入只负责元数据记录和权限审批 2.客户端直接向1台DataNode写数据这个DataNode一般是离客户端最近网络距离的那一个 3.数据块副本的复制工作由DataNode之间自行完成构建一个PipLine按顺序复制分发如图1给2, 2给3和4 3、HDFS读取流程
1.客户端向NameNode申请读取某文件
2.NameNode判断客户端权限等细节后允许读取并返回此文件的block列表
3.客户端拿到block列表后自行寻找DataNode读取即可1.数据同样不通过NameNode提供 2.NameNode提供的block列表会基于网络距离计算尽量提供离客户端最近的 这是因为1个block有3份会尽量找离客户端最近的那一份让其读取
