北京市优化网站,wordpress 登录发布,济南网站建设山东酷风,网站代码在哪里看一、#创作灵感#
公司使用Kafka的软件项目较多#xff0c;故写技术笔记巩固知识要点
二、软件环境
- Kafka 3.9.0 官方下载地址#xff1a;Kafka 3.9.0
- Docker Desktop 4.37 容器图形化工具 官方下载地址#xff1a;Docker Desktop 4.37
特别说明
- Docker Desktop… 一、#创作灵感#
公司使用Kafka的软件项目较多故写技术笔记巩固知识要点
二、软件环境
- Kafka 3.9.0 官方下载地址Kafka 3.9.0
- Docker Desktop 4.37 容器图形化工具 官方下载地址Docker Desktop 4.37
特别说明
- Docker Desktop仅仅是Windows下镜像用如有能爬楼的服务器可不安装此软件
- 本文以单机模式为例
三、常规方式安装
非容器化Kraft Mode模式安装
1、下载Kafka
参见上面的软件环境章节的下载地址
2、修改Kafka配置
# Kraft模式启动
vi $KAFKA_HOME/config/kraft/server.properties
关键设置包括
# 指定此节点是否应该成为控制平面的一部分
process.rolescontroller,kafka# KRaft模式下的节点ID每个节点的ID必须唯一
node.id1# 监听器地址用于集群内通信
listenersPLAINTEXT://localhost:9092# 控制平面监听器地址
controller.listenersPLAINTEXT://localhost:9090# 用于集群通信的安全协议以及相关的认证和授权配置
inter.broker.listener.nameCONTROLLER# 控制平面的ADVERTISED.LISTENERS用于其他节点发现
controller.listener.namesCONTROLLER
controller.advertised.listenersPLAINTEXT://localhost:9090# 用于KRaft模式的元数据复制因子通常设置为集群中控制器的数量
metadata.max.age300000# 日志存储配置指定日志的位置和格式
log.dirs/tmp/kraft-logs
log.retention.hours168# 控制平面的选举配置和集群成员配置
control.plane.listener.nameCONTROLLER
control.plane.advertised.listenersPLAINTEXT://localhost:9090# 集群的初始/bootstrap状态
process.rolescontroller
node.id1
listenersCONTROLLER://localhost:9090
inter.broker.listener.nameCONTROLLER 5、Zookeeper模式启动Kafka # Start the Kafka broker service
$ bin/kafka-server-start.sh config/kraft/server.properties 四、容器方式安装
容器化Kraft Mode模式安装
1、容器启动Kafka
- 下载镜像
下载一体化官方镜像 $ docker pull confluentinc/cp-kafka:7.0.1 - 创建ConfigMap资源
用于定义Kafka配置
apiVersion: v1
kind: ConfigMap
metadata:name: kafka-config
data:config.properties: |process.rolesbrokernode.id1listenersPLAINTEXT://:9092inter.broker.listener.namePLAINTEXT...
- 创建Deployment资源
用于部署Kafka Pod
apiVersion: apps/v1
kind: Deployment
metadata:name: kafka-deployment
spec:replicas: 3selector:matchLabels:app: kafkatemplate:metadata:labels:app: kafkaspec:containers:- name: kafkaimage: confluentinc/cp-kafka:7.0.1ports:- containerPort: 9092env:- name: CONFIG_FILEvalue: /etc/kafka/conf/config.properties...volumeMounts:- name: config-volumemountPath: /etc/kafka/confvolumes:- name: config-volumeconfigMap:name: kafka-config
- 创建Service资源
用于对外暴露Kafka服务
apiVersion: v1
kind: Service
metadata:name: kafka-service
spec:selector:app: kafkaports:- protocol: TCPport: 9092targetPort: 9092
- 应用到你的Kubernetes集群
这些YAML文件定义了Kafka的配置、部署和服务。你需要将它们保存为文件然后使用kubectl 应用到你的Kubernetes集群
kubectl apply -f configmap.yaml
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml
- 或使用镜像启动容器 # 假设打好的镜像id是fe7e6a65afa5
docker run \
--namecp-kafka \
-p 2181:2181 \
-p 9092:9092 \
-p 19092:19092 \
-d fe7e6a65afa5 五、要点总结 - Zookeeper Mode使用的配置是$KFAKA_HOME/config/server.properties - Kraft Mode使用的配置是$KFAKA_HOME/config/kraft/server.properties - Zookeeper Mode启动见作者的文章Zookeeper模式安装Kafka
