个人制作网站多少钱,hide my wordpress,甘肃网站建设推广,广州专业做网站公司相关文章
【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用#xff08;集群配置#xff09;【数仓】Hadoop集群配置常用参数说明【数仓】zookeeper软件安装及集群配置
一、环境准备
准备3台虚拟机
Hadoop131#xff…相关文章
【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用集群配置【数仓】Hadoop集群配置常用参数说明【数仓】zookeeper软件安装及集群配置
一、环境准备
准备3台虚拟机
Hadoop131192.168.56.131Hadoop132192.168.56.132Hadoop133192.168.56.133
本例系统版本 CentOS-7.8已安装jdk1.8
关闭防火墙
systemctl stop firewalldzookeeper 已安装且已启动 二、kafka安装配置
1、kafka下载安装
# 下载解压
wget --no-check-certificate https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzvf kafka_2.13-3.7.0.tgz
mv kafka_2.13-3.7.0/ /data/kafka/2、配置环境变量
新增环境变量文件
vi /etc/profile.d/kafka_env.sh
export KAFKA_HOME/data/kafka
export PATH$PATH:$KAFKA_HOME/bin使用source让新增环境生效
source /etc/profile配置完成后分发到其他服务器
xsync.sh /etc/profile.d/kafka_env.sh3、配置Kafka服务器属性
Kafka集群的配置涉及多个方面包括broker、Zookeeper、producer和consumer的配置。不过通常我们主要关注的是broker和Zookeeper的配置因为它们是构成Kafka集群的基础。
Broker配置
Broker的配置主要在Kafka安装目录下的config/server.properties文件中进行。以下是一些关键的配置项 broker.id每个Kafka broker都需要一个唯一的标识符即broker.id。在集群中每个broker的ID必须是唯一的。 listeners监听的网络端口和协议用于客户端和其他brokers的连接。例如listenersPLAINTEXT://:9092表示监听本机9092端口使用PLAINTEXT协议。 log.dirsKafka存储数据的目录。可以配置多个目录以实现磁盘的负载均衡。例如log.dirs/data/kafka-logs。 num.partitions创建新topic时的默认分区数。这个配置也可以在创建topic时通过命令行参数指定。 offsets.topic.replication.factor创建新topic时的默认副本因子。这个配置决定了topic的副本数即数据在不同broker上的复制份数。 zookeeper.connect指定ZooKeeper集群的地址和端口。例如zookeeper.connectlocalhost:2181表示连接本机的Zookeeper实例端口为2181。如果是ZooKeeper集群可以配置多个地址用逗号分隔。
vi /data/kafka/config/server.properties主要配置参数如下
#broker 的全局唯一编号不能重复只能是数字。broker.id0
#broker 对外暴露的 IP 和端口 (每个节点单独配置)
advertised.listenersPLAINTEXT://hadoop131:9092
#处理网络请求的线程数量
num.network.threads3
#用来处理磁盘 IO的线程数量
num.io.threads8
#发送套接字的缓冲区大小
socket.send.buffer.bytes102400
#接收套接字的缓冲区大小
socket.request.max.bytes104857600
#kafka运行日志(数据)存放的路径路径不需要提前创建kafka 自动帮你创建可以配置多个磁盘路径路径与路径之间可以用,分隔
log.dirs/data/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir1
#每个 topic 创建时的副本数默认时1个副本
offsets.topic.replication.factorl
#segment 文件保留的最长时间超时将被删除
log.retention.hours168
#每个 segment 文件的大小默认最大 1G
log.segment.bytes1073741824
#检查过期数据的时间默认5分钟检查一次是否数据过期
log.retention.check.interval.ms300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka方便管理)
zookeeper.connecthadoop131:2181,hadoop132:2181,hadoop133:2181/kafka4、同步kafka到其他服务器
1同步kafka到其他两台服务器 hadoop132、hadoop133
xsync.sh /data/kafka/2分别修改 hadoop132、hadoop133 上面的 broker.id 和 advertised.listeners
5、启动kafka
增加集群启动脚本
1创建文件kafka.sh
vi /usr/bin/kafka.sh
# 修改文件权限
chmod 777 /usr/bin/kafka.sh2复制如下内容
#!/bin/bash#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
ficase $1 in
start)#遍历集群所有机器for host in hadoop131 hadoop132 hadoop133doecho -------------------- $host kafka 启动 --------------------ssh $host /data/kafka/bin/kafka-server-start.sh -daemon /data/kafka/config/server.propertiesdone
;;
stop)#遍历集群所有机器for host in hadoop131 hadoop132 hadoop133doecho -------------------- $host kafka 停止 --------------------ssh $host /data/kafka/bin/kafka-server-stop.shdone
;;
*)echo Input Args Error...
;;
esac3通过集群脚本 kafka.sh 操作
kafka.sh start-------------------- hadoop131 kafka 启动 --------------------
-------------------- hadoop132 kafka 启动 --------------------
-------------------- hadoop133 kafka 启动 --------------------使用xcall.sh jps -m查看进程可以看见kafka进程已经启动
------ hadoop131 jps ------
4548 QuorumPeerMain
5781 Jps
5673 Kafka
------ hadoop132 jps ------
5560 Kafka
4458 QuorumPeerMain
5659 Jps
------ hadoop133 jps ------
5570 Kafka
5668 Jps
4463 QuorumPeerMain三、kafka常见配置项
Apache Kafka是一个流行的分布式事件流处理平台它有很多配置项用于优化和调整其性能、可靠性和安全性。以下是一些Kafka中常见的配置项
Broker配置
broker.id每个Kafka broker都需要一个唯一的标识符即broker.id。log.dirsKafka存储数据的目录可以配置多个目录以实现磁盘的负载均衡。listeners监听的网络端口和协议用于客户端和其他brokers的连接。num.partitions创建新topic时的默认分区数。default.replication.factor创建新topic时的默认副本因子。auto.create.topics.enable是否允许自动创建topic。log.retention.hours、log.retention.bytes、log.retention.minutes、log.retention.ms控制日志数据的保留策略。log.segment.bytes控制日志段的大小。zookeeper.connect指定ZooKeeper集群的地址。
Producer配置
bootstrap.serversKafka集群的地址列表。key.serializer用于序列化key的类。value.serializer用于序列化value的类。acks控制发送消息的确认机制。retries发送失败时的重试次数。batch.size控制批量发送的大小。linger.ms发送批量消息前的等待时间。buffer.memory生产者用于缓存的内存大小。
Consumer配置
group.id消费者组的标识符。bootstrap.serversKafka集群的地址列表。key.deserializer用于反序列化key的类。value.deserializer用于反序列化value的类。auto.offset.reset当没有初始化的offset或offset不再存在时应该做什么。enable.auto.commit是否允许自动提交offset。fetch.min.bytes、fetch.max.bytes控制从broker获取数据的最小和最大字节数。max.poll.records每次poll操作返回的最大记录数。
以上只是Kafka配置的一部分实际上Kafka的配置项非常多可以根据具体的需求和场景进行调整。具体的配置项和使用方法可以参考Kafka的官方文档。
请注意配置项的默认值可能会随着Kafka版本的更新而发生变化因此建议查阅对应版本的官方文档以获取最准确的信息。
参考
https://kafka.apache.org/quickstart
