苏州集团网站设计公司,旅游公网站如何做,wordpress比较,网站计算器代码在实际的hadoop环境中#xff0c;有时我们需要新增或者删除datanode节点#xff0c;来达到扩容或缩容的目的#xff0c;本文就来讲解如何新增和删除datanode。
新增节点和删除节点会涉及两个关键的配置项#xff08;hdfs-site.xml文件中#xff09;#xff1a;
dfs.hos…在实际的hadoop环境中有时我们需要新增或者删除datanode节点来达到扩容或缩容的目的本文就来讲解如何新增和删除datanode。
新增节点和删除节点会涉及两个关键的配置项hdfs-site.xml文件中
dfs.hosts表示被允许连接到namenode的所有机器列表。为空则表示所有机器都可以连接namenode所以该配置一般不配一般只会使用exclude不然反而麻烦配了后新增节点都得去修改添加该配置。dfs.hosts.exclude表示不允许连接到namenode的所有机器列表。为空则表示没有机器被禁止连接
dfs.hosts和dfs.hosts.exclude分别指向一个文件注意是绝对路径。下面的节点地址我们统一使用机器主机名所以就得要机器配置了/etc/hosts的主机名和IP的映射关系。假设 dfs.hosts指向的文件是includedfs.hosts.exclude指向的文件是exclude。
新增节点
1将新节点的地址添加到include假如没配置就算了过此步一般不配。
2在namenode运行hadoop dfsadmin -refreshNodes刷新节点配置为了允许datanode连接namenode假如没有第一步则不用运行该步骤
3将新节点添加到slaves文件该步骤只是为了可以让hadoop的启动集群的脚本比如start-dfs.sh可以顺便启动该datanode节点没有该配置该节点也是可以单独命令启动的
4在新节点上启动datanode各版本启动命令略有不同sh hadoop-daemon.sh start datanode
5在namenode运行hadoop dfsadmin -refreshNodes可以到web ui查看新增节点
6新节点新增后也许就会涉及数据的再平衡问题使用balancer去均衡数据存储。
删除节点
1将待删除的节点地址添加到exclude文件
2在namenode运行hadoop dfsadmin -refreshNodes刷新节点配置。
3转到网页查看是否待删除的节点的所有块都成了Decommissioned是则表示所有块已经复制完毕。可以关闭已经删除的节点。
4关闭要删除的datanode各版本关闭命令略有不同sh hadoop-daemon.sh stop datanode
5如果有include文件配置则在其中移除这节点再执行hadoop dfsadmin –refreshNodes
6在slaves文件中删除该节点
