网站开发国外研究状况,重庆本地生活平台,网络营销推广方案总结,网络公司排名榜本文内容来自尚硅谷B站公开教学视频#xff0c;仅做个人总结、学习、复习使用#xff0c;任何对此文章的引用#xff0c;应当说明源出处为尚硅谷#xff0c;不得用于商业用途。 如有侵权、联系速删 视频教程链接#xff1a;【尚硅谷】Kafka3.x教程#xff08;从入门到调优… 本文内容来自尚硅谷B站公开教学视频仅做个人总结、学习、复习使用任何对此文章的引用应当说明源出处为尚硅谷不得用于商业用途。 如有侵权、联系速删 视频教程链接【尚硅谷】Kafka3.x教程从入门到调优深入全面 文章目录 服役新节点新节点准备执行负载均衡操作 退役旧节点执行负载均衡操作执行停止命令 服役新节点
依旧使用前面文章创建的三个hadoop102、103、104三个节点模拟节点的服役与退役
新节点准备
1关闭 hadoop104并右键执行克隆操作。 2开启 hadoop105并修改 IP 地址。
[roothadoop104 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICEens33
TYPEEthernet
ONBOOTyes
BOOTPROTOstatic
NAMEens33
IPADDR192.168.10.105
PREFIX24
GATEWAY192.168.10.2
DNS1192.168.10.2
3在 hadoop105 上修改主机名称为 hadoop105。
[roothadoop104 ~]# vim /etc/hostname
hadoop1054重新启动 hadoop104、hadoop105。 5修改 haodoop105 中 kafka 的 broker.id 为 3。 6删除 hadoop105 中 kafka 下的 datas 和 logs。
[atguiguhadoop105 kafka]$ rm -rf datas/* logs/*7启动 hadoop102、hadoop103、hadoop104 上的 kafka 集群。
[atguiguhadoop102 ~]$ zk.sh start
[atguiguhadoop102 ~]$ kf.sh start8单独启动 hadoop105 中的 kafka。
[atguiguhadoop105 kafka]$ bin/kafka-server-start.sh -daemon ./config/server.properties执行负载均衡操作
1创建一个要均衡的主题。
[atguiguhadoop102 kafka]$ vim topics-to-move.json
{topics: [{topic: first}],version: 1
}2生成一个负载均衡的计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --topics-to-move-json-file topics-to-move.json --broker-list 0,1,2,3 --generate
Current partition replica assignment
{version:1,partitions:[{topic:first,partition:0,replicas:[0,2,1],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[2,1,0],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[1,0,2],log_dirs:[any,any,any]}]}Proposed partition reassignment configuration
{version:1,partitions:[{topic:first,partition:0,replicas:[2,3,0],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[3,0,1],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[0,1,2],log_dirs:[any,any,any]}]}3创建副本存储计划所有副本存储在 broker0、broker1、broker2、broker3 中。
[atguiguhadoop102 kafka]$ vim increase-replication-factor.json输入如下内容
{version:1,partitions:[{topic:first,partition:0,replicas:[2,3,0],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[3,0,1],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[0,1,2],log_dirs:[any,any,any]}]}4执行副本存储计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --execute5验证副本存储计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verifyStatus of partition reassignment:
Reassignment of partition first-0 is complete.
Reassignment of partition first-1 is complete.
Reassignment of partition first-2 is complete.Clearing broker-level throttles on brokers 0,1,2,3
Clearing topic-level throttles on topic first退役旧节点
执行负载均衡操作
先退役一台节点生成执行计划然后按照服役时操作流程执行负载均衡。 1创建一个要均衡的主题。
[atguiguhadoop102 kafka]$ vim topics-to-move.json
{topics: [{topic: first}],version: 1
}2创建执行计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --topics-to-move-json-file topics-to-move.json --broker-list 0,1,2 --generateCurrent partition replica assignment
{version:1,partitions:[{topic:first,partition:0,replicas:[2,0,1],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[3,1,2],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[0,2,3],log_dirs:[any,any,any]}]}Proposed partition reassignment configuration
{version:1,partitions:[{topic:first,partition:0,replicas:[2,0,1],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[0,1,2],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[1,2,0],log_dirs:[any,any,any]}]}
3创建副本存储计划所有副本存储在 broker0、broker1、broker2 中。
[atguiguhadoop102 kafka]$ vim increase-replication-factor.json{version:1,partitions:[{topic:first,partition:0,replicas:[2,0,1],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[0,1,2],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[1,2,0],log_dirs:[any,any,any]}]}4执行副本存储计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --execute5验证副本存储计划。
[atguiguhadoop102 kafka]$ bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verifyStatus of partition reassignment:
Reassignment of partition first-0 is complete.
Reassignment of partition first-1 is complete.
Reassignment of partition first-2 is complete.Clearing broker-level throttles on brokers 0,1,2,3
Clearing topic-level throttles on topic first执行停止命令
在 hadoop105 上执行停止命令即可。
[atguiguhadoop105 kafka]$ bin/kafka-server-stop.sh
