外贸企业建网站,静态网站规范,天津免费建设网站,淘宝页面设计的网站Apache Doris 极简运维之BE扩缩容#xff08;1#xff09; 一、环境信息硬件信息软件信息 二、缩容2.1 DROP BACKEND缩容2.2 DECOMMISSION BACKEND缩容2.2.1 缩容前2.2.2 缩容中2.2.3 缩容后 三、扩容3.1 扩容前3.2 扩容中3.3 扩容后 四、总结 一、环境信息 已部署三个BE节点… Apache Doris 极简运维之BE扩缩容1 一、环境信息硬件信息软件信息 二、缩容2.1 DROP BACKEND缩容2.2 DECOMMISSION BACKEND缩容2.2.1 缩容前2.2.2 缩容中2.2.3 缩容后 三、扩容3.1 扩容前3.2 扩容中3.3 扩容后 四、总结 一、环境信息 已部署三个BE节点并且状态显示正常运行中 硬件信息
CPU 1CCPU型号ARM64内存 2GB硬盘 36GB SSD
软件信息
VM镜像版本 CentOS-7Apahce Doris版本 1.2.4.1集群规模1FE * 3BE
二、缩容
2.1 DROP BACKEND缩容 注意DROP BACKEND 会直接删除该 BE并且其上的数据将不能再恢复 所以强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当使用这个语句时会有对应的防误操作提示。 -- ALTER SYSTEM DROP BACKEND be_host:be_heartbeat_service_port; -- 会有误操作提示
-- ALTER SYSTEM DROPP BACKEND be01:9050; --直接删除慎用2.2 DECOMMISSION BACKEND缩容
DECOMMISSION 命令说明
该命令用于安全删除 BE 节点。命令下发后Doris 会尝试将该 BE 上的数据向其他 BE 节点迁移当所有数据都迁移完成后Doris 会自动删除该节点。该命令是一个异步操作。执行后可以通过 SHOW PROC ‘/backends’; 看到该 BE 节点的 isDecommission 状态为 true。表示该节点正在进行下线。该命令不一定执行成功。比如剩余 BE 存储空间不足以容纳下线 BE 上的数据或者剩余机器数量不满足最小副本数时该命令都无法完成并且 BE 会一直处于 isDecommission 为 true 的状态。DECOMMISSION 的进度可以通过 SHOW PROC ‘/backends’; 中的 TabletNum 查看如果正在进行TabletNum 将不断减少。该操作可以通过:
CANCEL DECOMMISSION BACKEND be_host:be_heartbeat_service_port;命令取消。取消后该 BE 上的数据将维持当前剩余的数据量。后续 Doris 重新进行负载均衡
-- ALTER SYSTEM DECOMMISSION BACKEND be_host:be_heartbeat_service_port;
ALTER SYSTEM DECOMMISSION BACKEND be01:9050;2.2.1 缩容前 http://192.168.31.78:8030/System?path//backends查看be节点信息 2.2.2 缩容中 缩容失败缩容BE节点一直处于 isDecommission 为 true的状态因为剩余机器数量不满足最小副本数3个副本。 取消DECOMMISSION BACKEND 并将3副本的表都调成2副本
-- 取消DECOMMISSION BACKEND
-- CANCEL DECOMMISSION BACKEND be_host:be_heartbeat_service_port;
CANCEL DECOMMISSION BACKEND be01:9050;-- 3副本表调成2副本
-- 非分区部分
ALTER TABLE db.table_name SET (default.replication_num 2);
ALTER TABLE db.table_name SET (default.replication_allocation tag.location.default: 2);
-- 分区部分
ALTER TABLE zbh_test.dwd_lbu_mbi_bil_income_d02 MODIFY PARTITION (逗号分隔可填写多个分区名) SET(replication_num2);-- 如下图所示tablet数开始减少至2副本的量满足缩容的副本要求后重新执行DECOMMISSION BACKEND
-- ALTER SYSTEM DECOMMISSION BACKEND be_host:be_heartbeat_service_port;
ALTER SYSTEM DECOMMISSION BACKEND be01:9050;2.2.3 缩容后 副本自动均衡至非下线节点副本均衡完毕后会自动drop掉下线的be节点但进程需要自己去stop # 需要手动停止be进程
sh bin/stop_be.sh 三、扩容
3.1 扩容前 3.2 扩容中
-- 新增be节点需要确保已经start相应的be进程
alter system add backend 192.168.31.136:9050-- 如下图所示新be已经加入集群并开始自动进行数据均衡了3.3 扩容后 数据完全均衡后如下图所示几乎等同于be缩容完成前2副本的tablet分布 四、总结
扩容会自动进行数据均衡缩容会自动进行数据均衡但需要注意不能直接DROP需要走DECOMMISSION并且sh stop_be.sh迁移效率参考16:32开始复制迁移1.590 TB / 141tablets17:39迁移完成平均1667235m / 4020s 414m/s大表耗时可通过weiui的statistic查看还在迁移的tablet迁移完后节点就完成下线、show PROC /backends’也不会出现下线节点了。
