网站后台文件名,网站招牌模板,wordpress手机显示,封开网站建设一、准备工作
安装 Docker 确保本机已安装 Docker。可以通过以下命令检查 Docker 是否已安装#xff1a;docker --version如果未安装#xff0c;可以访问 Docker 官网下载并安装 Docker Desktop#xff08;Windows 和 Mac#xff09;或使用包管理器安装#xff08;Linuxdocker --version如果未安装可以访问 Docker 官网下载并安装 Docker DesktopWindows 和 Mac或使用包管理器安装Linux。
拉取 Kafka 镜像 打开终端执行以下命令拉取 Kafka 镜像docker pull bitnami/kafka:latest此命令会从 Docker Hub 下载最新版本的 Kafka 镜像由 Bitnami 提供该镜像已预配置好 Kafka 的环境和依赖。
单机
Kafka 4.0 将移除zookeeper,仅支持KRaft 所以我们使用KRaft模式,这也是kafka的默认模式.
1.创建数据目录 在本机上创建一个目录用于存放 Kafka 的数据例如 /data/kafka_data。可以使用以下命令创建
mkdir -p /data/kafka_data由于这是一个非 root 的容器挂载的文件和目录必须具有 UID 1001 的适当权限
sudo chown -R 1001:1001 /data/kafka_data2.docker-run启动 Kafka 容器 在终端中执行以下命令启动 Kafka 容器
docker run -d --name kafka \-p 9092:9092 -p 9093:9093 \-e KAFKA_ENABLE_KRAFTyes \-e KAFKA_CFG_PROCESS_ROLESbroker,controller \-e KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER \-e KAFKA_CFG_INTER_BROKER_LISTENER_NAMEPLAINTEXT \-e KAFKA_CFG_LISTENERSPLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093 \-e KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPCONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \-e KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://:9092 \-e KAFKA_BROKER_ID1 \-e KAFKA_CFG_NODE_ID1 \-e KAFKA_KRAFT_CLUSTER_IDyour_unique_cluster_id \-e KAFKA_CFG_CONTROLLER_QUORUM_VOTERS1localhost:9093 \-e KAFKA_CFG_CONTROLLER_QUORUM_VOTER_CLIENT_QUOTA_WINDOW_NUM10 \-e KAFKA_CFG_CONTROLLER_QUORUM_VOTER_CLIENT_QUOTA_WINDOW_SIZE_SECONDS1 \-e KAFKA_CFG_CONTROLLER_QUORUM_VOTER_REQUEST_TIMEOUT_MS5000 \-v /data/kafka_data:/kafka:rw \bitnami/kafka:latest
3.docker-compose部署 Kafka 容器 docker compose -f docker-compose.yml up -d
version: 3services:kafka:image: bitnami/kafka:latestports:- 9092:9092volumes:- /data/kafka_data:/bitnamienvironment:# KRaft settings- KAFKA_CFG_NODE_ID0- KAFKA_CFG_PROCESS_ROLEScontroller,broker- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS0localhost:9093# Listeners- KAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPCONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER- KAFKA_CFG_INTER_BROKER_LISTENER_NAMEPLAINTEXT
参数解释
参数名称说明KAFKA_ADVERTISED_HOST_NAME这是 Kafka 服务器的主机名或 IP地址用于通知生产者和消费者连接到该地址。KAFKA_ENABLE_KRAFT这个参数启用 Kafka RaftKRaft模式它是 Kafka 2.8.0版本引入的一种新的高可用性模式。KAFKA_KRAFT_CLUSTER_ID这是 KRaft 集群的唯一标识符用于将 Kafka 服务器加入特定的 KRaft集群。KAFKA_CFG_PROCESS_ROLES这个参数指定 Kafka 服务器的角色其中 “broker” 表示服务器是一个普通的Kafka 节点“controller” 表示服务器是集群的控制器。KAFKA_BROKER_ID这是 Kafka 服务器的唯一标识符用于在集群中区分不同的服务器。KAFKA_CFG_NUM_PARTITIONS这个参数指定每个主题的默认分区数。分区是 Kafka中的消息存储单元用于实现消息的并行处理。KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR这个参数指定偏移量主题的副本因子偏移量主题用于存储消费者的偏移量信息。KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP这个参数定义了不同监听器的安全协议映射关系。在这个例子中“EXTERNAL” 和 CONTROLLER分别映射到 “PLAINTEXT” 协议表示这些监听器使用明文传输。KAFKA_CFG_LISTENERS这个参数指定每个主题的默认分区数。分区是 Kafka中的消息存储单元用于实现消息的并行处理。KAFKA_CFG_ADVERTISED_LISTENERS这个参数定义了 Kafka监听器的配置。在这个例子中有两个监听器分别使用不同的协议和端口号。KAFKA_CFG_INTER_BROKER_LISTENER_NAME这个参数指定了经纪人之间通信使用的监听器名称其中 “CLIENT” 表示使用客户端监听器。KAFKA_CFG_CONTROLLER_LISTENER_NAMES这个参数指定控制器监听器的名称用于控制器与其他经纪人之间的通信。KAFKA_CFG_CONTROLLER_QUORUM_VOTERS这个参数指定了控制器选举过程中的投票者信息包括其 ID和监听器的地址。ALLOW_PLAINTEXT_LISTENER这个参数允许使用明文传输的监听器进行连接。KAFKA_AUTO_CREATE_TOPICS_ENABLE这个参数启用自动创建主题的功能当生产者发送消息到不存在的主题时将自动创建该主题。KAFKA_CFG_INITIAL_BROKER_REGISTRATION_TIMEOUT_MS这个参数指定初始经纪人注册的超时时间以毫秒为单位。在集群启动期间经纪人必须在指定的时间内完成注册。
集群 生产环境中机器足够也需要一定的性能和稳定性。选择推荐使用完整集群方案 在3.0版本中基于raft协议的集群元数据管理方式已经成熟此处推荐使用kraft协议部署简化部署方案 以前旧的依赖Zookeeper的方案在此不再提供、研究、维护 集群方式可参考链接
三台服务器每个节点都承担broker,controller角色
# Copyright Broadcom, Inc. All Rights Reserved.
# SPDX-License-Identifier: APACHE-2.0services:kafka-0:image: docker.io/bitnami/kafka:3.9ports:- 9092environment:# KRaft settings- KAFKA_CFG_NODE_ID0- KAFKA_CFG_PROCESS_ROLEScontroller,broker- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS0kafka-0:9093,1kafka-1:9093,2kafka-2:9093- KAFKA_KRAFT_CLUSTER_IDabcdefghijklmnopqrstuv# Listeners- KAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPPLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER- KAFKA_CFG_INTER_BROKER_LISTENER_NAMEPLAINTEXT# Clustering- KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR2volumes:- kafka_0_data:/bitnami/kafkakafka-1:image: docker.io/bitnami/kafka:3.9ports:- 9092environment:# KRaft settings- KAFKA_CFG_NODE_ID1- KAFKA_CFG_PROCESS_ROLEScontroller,broker- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS0kafka-0:9093,1kafka-1:9093,2kafka-2:9093- KAFKA_KRAFT_CLUSTER_IDabcdefghijklmnopqrstuv# Listeners- KAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPPLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER- KAFKA_CFG_INTER_BROKER_LISTENER_NAMEPLAINTEXT# Clustering- KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR2volumes:- kafka_1_data:/bitnami/kafkakafka-2:image: docker.io/bitnami/kafka:3.9ports:- 9092environment:# KRaft settings- KAFKA_CFG_NODE_ID2- KAFKA_CFG_PROCESS_ROLEScontroller,broker- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS0kafka-0:9093,1kafka-1:9093,2kafka-2:9093- KAFKA_KRAFT_CLUSTER_IDabcdefghijklmnopqrstuv# Listeners- KAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPPLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER- KAFKA_CFG_INTER_BROKER_LISTENER_NAMEPLAINTEXT# Clustering- KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR3- KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR2volumes:- kafka_2_data:/bitnami/kafkavolumes:kafka_0_data:driver: localkafka_1_data:driver: localkafka_2_data:driver: local
