游戏网站创建,wordpress 手机图片主题,随州程力网站建设,石家庄seo网站管理文章目录 一. 集群规划二.docker compose以及启动脚本卷映射对于网络环境变量 三. 集群测试用户新建、赋权、库表初始化断电重启扩容 BE 集群 一. 集群规划
部署文档 https://docs.starrocks.io/zh/docs/2.5/deployment/plan_cluster/
分类描述FE节点1. 主要负责元数据管理、… 文章目录 一. 集群规划二.docker compose以及启动脚本卷映射对于网络环境变量 三. 集群测试用户新建、赋权、库表初始化断电重启扩容 BE 集群 一. 集群规划
部署文档 https://docs.starrocks.io/zh/docs/2.5/deployment/plan_cluster/
分类描述FE节点1. 主要负责元数据管理、客户端连接管理、查询计划和查询调度。2. 三个节点实现高可用以及请求的流量转发 对于请求的高可用和流量转发使用 nginx 实现。对于单宿主机来说这里的fe部署一个3. 建议为每个 FE 节点分配 8 个 CPU 内核和 16GB RAM在大多数场景下每个 FE 节点只需要 100GB 的 HDD 存储。BE节点1. 负责数据存储和 SQL 执行。2. 对于 StarRocks 生产集群建议至少部署三个 BE 节点这些节点会自动形成一个 BE 高可用集群避免单点故障影响数据可靠性和服务可用性。3. 建议为每个 BE 节点分配 16 个 CPU 内核和 64GB RAM。4. StarRocks 集群所有 BE 节点所需的– 总存储空间 原始数据大小 x 数据副本数/数据压缩算法压缩比– 原始数据大小 单行数据大小 x 总数据行数
说明 1.FE 节点负责元数据管理、客户端连接、查询调度等任务配置要求较低。 2.BE 节点负责数据存储和 SQL 查询执行配置要求较高尤其是 CPU 和内存。 3.存储空间估算公式根据数据大小、数据副本数和压缩比来计算 BE 节点的存储需求。 二.docker compose以及启动脚本
参考 https://github.com/StarRocks/demo/blob/master/deploy/docker-compose/docker-compose-3BE.yml
# 定义starrocks be共用配置
x-starrocks-be-common: starrocks-be-commonimage: starrocks/be-ubuntu:3.2.12command:- /bin/bash- -c- |chmod x /data/starrocks/be_entrypoint.sh/data/starrocks/be_entrypoint.sh starrocks-fe-0environment:- HOST_TYPEFQDN- TZAsia/Shanghai- MYSQL_ROOT_PASSWORD1111111depends_on:- starrocks-fe-0restart: alwaysnetworks: # network config, can be configured to your preferred port and ip address, if not specified, it will use default network and assign a dynamic ipstarrocks-network:services:# starrocks1 fe 3bestarrocks-fe-0:image: starrocks/fe-ubuntu:3.2.12hostname: starrocks-fe-0container_name: starrocks-fe-0command:- /bin/bash- -c- |/opt/starrocks/fe_entrypoint.sh starrocks-fe-0environment:- HOST_TYPEFQDN- TZAsia/Shanghai- MYSQL_ROOT_PASSWORDradar_360ports:- 1030:8030 # Frontend service port (HTTP)- 2020:9020 # Backend service port (HTTP)- 3030:9030 # Frontend service port (MySQL)volumes:- ./starrocks/fe-0/meta:/opt/starrocks/fe/meta:rw- ./starrocks/fe-0/log:/opt/starrocks/fe/log:rwrestart: alwaysnetworks: # network config, can be configured to your preferred port and ip address, if not specified, it will use default network and assign a dynamic ipstarrocks-network:starrocks-be-0:: *starrocks-be-commonhostname: starrocks-be-0container_name: starrocks-be-0volumes:- ./starrocks/be-0/storage:/opt/starrocks/be/storage:rw- ./starrocks/be-0/log:/opt/starrocks/be/log:rw- ./sr/bin:/data/starrocks:rwxstarrocks-be-1:: *starrocks-be-commonhostname: starrocks-be-1container_name: starrocks-be-1volumes:- ./starrocks/be-1/storage:/opt/starrocks/be/storage:rw- ./starrocks/be-1/log:/opt/starrocks/be/log:rw- ./sr/bin:/data/starrocks:rwxstarrocks-be-2:: *starrocks-be-commonhostname: starrocks-be-2container_name: starrocks-be-2volumes:- ./starrocks/be-2/storage:/opt/starrocks/be/storage:rw- ./starrocks/be-2/log:/opt/starrocks/be/log:rw- ./sr/bin:/data/starrocks:rwx
networks:starrocks-network:driver: bridge#!/bin/bashHOST_TYPE${HOST_TYPE:-IP}
FE_QUERY_PORT${FE_QUERY_PORT:-9030}
PROBE_TIMEOUT60
PROBE_INTERVAL2
HEARTBEAT_PORT9050
MY_SELF
MY_IPhostname -i
MY_HOSTNAMEhostname -f
STARROCKS_ROOT${STARROCKS_ROOT:-/opt/starrocks}
STARROCKS_HOME${STARROCKS_ROOT}/be
BE_CONFIG$STARROCKS_HOME/conf/be.conf
MYSQL_ROOT_PW${MYSQL_ROOT_PASSWORD:-121111}log_stderr()
{echo [date] $ 2
}update_conf_from_configmap()
{if [[ x$CONFIGMAP_MOUNT_PATH x ]] ; thenlog_stderr Empty $CONFIGMAP_MOUNT_PATH env var, skip it!return 0fiif ! test -d $CONFIGMAP_MOUNT_PATH ; thenlog_stderr $CONFIGMAP_MOUNT_PATH not exist or not a directory, ignore ...return 0filocal tgtconfdir$STARROCKS_HOME/conffor conffile in ls $CONFIGMAP_MOUNT_PATHdolog_stderr Process conf file $conffile ...local tgt$tgtconfdir/$conffileif test -e $tgt ; then# make a backupmv -f $tgt ${tgt}.bakfiln -sfT $CONFIGMAP_MOUNT_PATH/$conffile $tgtdone
}show_backends() {#先尝试无密码连接output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root --skip-column-names --batch -e SHOW BACKENDS;)if [ $? -ne 0 ]; thenlog_stderr 使用密码进行尝试连接检查be的状态# 如果无密码连接失败则使用密码进行连接output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -p$MYSQL_ROOT_PW --skip-column-names --batch -e SHOW BACKENDS;)fiecho $output
}parse_confval_from_cn_conf()
{# a naive script to grep given confkey from cn conf file# assume conf format: ^\s*key\s*\s*value\s*$local confkey$1local confvaluegrep \$confkey\ $BE_CONFIG | grep -v ^\s*# | sed s|^\s*$confkey\s*\s*\(.*\)\s*$|\1|gecho $confvalue
}collect_env_info()
{# heartbeat_port from conf filelocal heartbeat_portparse_confval_from_cn_conf heartbeat_service_portif [[ x$heartbeat_port ! x ]] ; thenHEARTBEAT_PORT$heartbeat_portfiif [[ x$HOST_TYPE xIP ]] ; thenMY_SELF$MY_IPelseMY_SELF$MY_HOSTNAMEfi}attempt_add_self() {# 第一次尝试执行命令output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;)if [ $? -ne 0 ]; then# 如果第一次失败添加密码log_stderr 使用密码进行尝试连接来添加be到feoutput$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -p$MYSQL_ROOT_PW --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;)fiecho $output
}add_self()
{local svc$1startdate %slocal timeout$PROBE_TIMEOUTwhile truedolog_stderr Add myself ($MY_SELF:$HEARTBEAT_PORT) into FE ...# 这里当root添加密码时需要通过密码进行设置。#timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -pradar_360 --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;attempt_add_self# 查看be是否加入成功memlistshow_backends $svcif echo $memlist | grep -q -w $MY_SELF /dev/null ; thenbreak;filet expirestarttimeoutnowdate %sif [[ $expire -le $now ]] ; thenlog_stderr Time out, abort!exit 1fisleep $PROBE_INTERVALdone
}svc_name$1
if [[ x$svc_name x ]] ; thenecho Need a required parameter!echo Example: $0 fe_service_nameexit 1
fiupdate_conf_from_configmap
collect_env_info
add_self $svc_name || exit $?
log_stderr Add myself ($MY_SELF:$HEARTBEAT_PORT) into FE success
log_stderr run start_be.shaddition_args
if [[ x$LOG_CONSOLE x1 ]] ; then# env var LOG_CONSOLE1 can be added to enable logging to consoleaddition_args--logconsole
fi
$STARROCKS_HOME/bin/start_be.sh $addition_args
ret$?
if [[ $ret -ne 0 x$LOG_CONSOLE ! x1 ]] ; thennol50log_stderr Last $nol lines of be.INFO ...tail -n $nol $STARROCKS_HOME/log/be.INFOlog_stderr Last $nol lines of be.out ...tail -n $nol $STARROCKS_HOME/log/be.out
fi
exit $ret 卷映射
对于fe 涉及到元数据已存在的表、以及系统操作和日志
volumes: - ./starrocks/fe-0/meta:/opt/starrocks/fe/meta:rw - ./starrocks/fe-0/log:/opt/starrocks/fe/log:rw对于be 涉及到数据存储和日志
volumes: - ./starrocks/be-1:/opt/starrocks/be/storage:rw - ./starrocks/be-1:/opt/starrocks/be/log:rw对于网络
要实现starrocks容器之间的内部通讯主要是通过主机名端口。
networks: starrocks-network: driver: bridge环境变量
MYSQL_ROOT_PASSWORDradar_360 用于be容器启动时be添加到fe时的脚本使用。 三. 集群测试
用户新建、赋权、库表初始化
-- 1. root 创建密码
-- 只能root自己创建密码 Can not set password for root user, except root itself.
SET PASSWORD FOR root PASSWORD(123456); show users; -- 2. 创建用户radar与密码
CREATE USER radar IDENTIFIED by radar_360;
-- 新增密码和修改密码都可用此密码
SET PASSWORD FOR root PASSWORD(1234567); -- 3. 授予相关权限
SHOW GRANTS;
show roles;
grant root to user radar;
-- 激活角色
-- 每一个链接会话中都需要执行
-- # Inactivated role(s): [user_admin, root].
SET ROLE root;
-- 创建库表
create database middle; -- 注意
-- 授权所有库表的权限对于创建库没有权限
GRANT ALL PRIVILEGES ON *.* TO radar;断电重启
改造官方的docker启动脚本主要涉及到给root设置密码之后be添加到fe时的操作。
# 添加自己到fe
attempt_add_self() { # 第一次尝试执行命令 output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;) if [ $? -ne 0 ]; then # 如果第一次失败添加密码 log_stderr 使用密码进行尝试连接来添加be到fe output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -p$MYSQL_ROOT_PW --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;) fi echo $output
}# 查看存在的be
show_backends() {#先尝试无密码连接output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root --skip-column-names --batch -e SHOW BACKENDS;)if [ $? -ne 0 ]; thenlog_stderr 使用密码进行尝试连接检查be的状态# 如果无密码连接失败则使用密码进行连接output$(timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -p$MYSQL_ROOT_PW --skip-column-names --batch -e SHOW BACKENDS;)fiecho $output
} 扩容 BE 集群
be的启动脚本天然支持容器启动时就会将自己加入到Fe中所以新增时正常些docker compose即可如下示例 starrocks-be-3:: *starrocks-be-commonhostname: starrocks-be-3container_name: starrocks-be-3volumes:- ./starrocks/be-3/storage:/opt/starrocks/be/storage:rw- ./starrocks/be-3/log:/opt/starrocks/be/log:rw- ./sr/bin:/data/starrocks:rwx
