库存网站建设哪家好,长沙app网页开发,做瓷砖在什么网站上找素材好,彩票网站开发 极云kafka在流数据、IO削峰上非常有用#xff0c;以下对于这款程序#xff0c;做一些常见指令介绍。 下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 需自行填写各自对应的集群IP和kafka的端口。 该写法 等同 –bootstrap-server localhost:9092 …kafka在流数据、IO削峰上非常有用以下对于这款程序做一些常见指令介绍。 下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 需自行填写各自对应的集群IP和kafka的端口。 该写法 等同 –bootstrap-server localhost:9092
kafka启动
kafka-server-start.sh
## 以上启动方式会启用$KAFKA_HOME/config下的配置文件## 如果指定是kraft集群模式启动需要指定kraft的配置文件路径
kafka-server-start.sh $KAFKA_HOME/config/kraft/server.properties
kafka停止
kafka-server-stop.sh
查看Kafka运行状态
kafka-server-status.sh
kafka主题创建
kafka-topics.sh --create \
--topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 \
--partitions 3 \
--replication-factor 2 –create 指定创建主题的关键字 –topic 指定创建主题的主题名称 –bootstrap-server 指定创建主题的kafka集群列表 –partitions 指定分区数量 –replication-factor 指定副本数量
注在主题名称中使用句点‘.’或下划线‘_’可能会导致与指标相关的问题。
查看kafka主题列表
kafka-topics.sh --list \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
查看kafka指定主题详情
kafka-topics.sh --describe \
--topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 Topic: 主题的名称。 Partition Count: 分区的数量指定了该主题被分割成的子集数目。 Replication Factor: 复制因子表示每个分区的副本数量。 In-Sync Replicas (ISR): 在同步的副本数指的是当前与主副本同步的副本数量。 Leader: 领导者副本表示当前负责处理读写请求的副本。 Under-replicated Partitions: 未复制完成的分区数指的是当前尚未达到指定复制因子的分区数量。 Isr Count: 在同步的副本数目即处于同步状态的副本数。 Configurations: 主题的配置信息包括一些自定义设置。
删除kafka指定主题
kafka-topics.sh --delete \
--topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092修改主题分区数量
kafka-configs.sh --alter \
--entity-type topics \
--entity-name KafkaText \
--add-config max.message.bytes2000000 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
## 这里add-config 可以指定相关参数进行重新赋值
这里新加入的参数可以在--describe 执行查看主题详情的时候在Configurations项中找到。重复执行会将参数值进行覆盖相当于修改配置参数修主题分区数量
kafka-topics.sh --alter \--topic KafkaText \--partitions 4 \--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
这里新的分区数量只能增加、不能减少。
生产者发送消息
kafka-console-producer.sh --topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
会打开交互窗口可以在交互窗口输入信息以模拟信息推送
消费者消费信息(相当于查看主题KafkaText的元数据)
kafka-console-consumer.sh --topic KafkaText \
--from-beginning \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
会打开交互窗口可以在交互窗口输入信息以模拟信息接收 –from-beginning它将会接收主题中所有分区的所有消息包括在你启动消费者之前已发布到主题的消息 在消费组未命名消费组的情况下每一次都会生成
console-consumer-random_number
##后缀增加一个五位数的随机数以确保唯一。
该消费者的保留时间受到配置参数offsets.retention.minutes 的约束。查看消费组列表 kafka-consumer-groups.sh --bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 --list
查看消费者组消费情况
kafka-consumer-groups.sh --describe \
--group console-consumer-72017 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
这里–group 需要指定自己的消费组名称
查看特定主题元数据
kafka-console-consumer.sh --topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
参看配置参数信息
kafka-configs.sh --describe \
--entity-type brokers \
--entity-name 1 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 \
grep offsets.topic.retention.minutes
–entity-name 指定kafka集群中节点的broker_id |grep 后跟着参数名称的关键字
kafka 日志目录含义
在配置参数中log_dir 下默认得日志路径是/tmp/kraft-combined-logs 该路径下会生成很多文件
bootstrap.checkpoint:该文件与 Kafka 启动过程相关可能包含有关启动过程状态或进度的信息。该文件为十六进制使用xxd 进行查看 cleaner-offset-checkpoint:该文件存储由日志清理器使用的偏移量表示它已清理的日志段的位置。日志清理器负责从日志段中删除过时的消息。默认情况下每隔10分钟会触发一次checkpoint
__cluster_metadata-0:此目录与集群元数据相关主要是元数据得flush相关信息
__consumer_offsets-0, __consumer_offsets-12, …:
这些目录用于存储消费者组的偏移量。每个目录代表一个用于存储消费者组偏移量的分区。 KafkaText-0, KafkaText-2, …:
这些目录与 Kafka 主题相关。每个目录代表指定主题例如KafkaText的一个分区其中包含实际数据/消息的日志段。
log-start-offset-checkpoint:
该文件包含分区中第一条消息的偏移量。它表示从分区中读取消息的起始点。
meta.properties:
该文件包含 Kafka 本broker的属性。
recovery-point-offset-checkpoint:
该文件存储由所有同步副本完全复制并确认的最后一条消息的偏移量。在恢复期间用于确定复制的起始点。 第一行的 0 表示 __consumer_offsets 分区 0 的复制状态的起始点。 第二行的 19 表示 __consumer_offsets 分区 19 的复制状态的恢复点偏移量。即表示 __consumer_offsets 分区 19 已成功复制并确认的最后一个消息的偏移量。
从第三行开始的内容 每一行表示一个分区的信息包括分区名、复制状态的起始点和恢复点偏移量。
例如__consumer_offsets 30 0 表示 __consumer_offsets 分区 30 的复制状态起始点偏移量为 0恢复点偏移量也为 0。
replication-offset-checkpoint:
该文件存储分区的高水位偏移量。它表示最后一条成功复制的消息的偏移量。这些文件和目录对于 Kafka 的正常运行非常重要它们存储有关主题、消费者组偏移量、日志清理和复制等方面的各种元数据和信息。 第一行的 0表示 __consumer_offsets 分区 0 的复制状态的起始点。 第二行的 19表示 __consumer_offsets 分区 19 的复制状态的高水位偏移量。即表示 __consumer_offsets 分区 19 已成功复制并确认的最后一个消息的偏移量。
从第三行开始的内容每一行表示一个分区的复制状态包括分区名和高水位偏移量。
例如__consumer_offsets 43 0 表示 __consumer_offsets 分区 43 的复制状态高水位偏移量为 0。
KafkaText 0 9 表示 KafkaText 分区 0 的复制状态高水位偏移量为 9。
写了这么多全是指令代码。大家肯定觉得很麻烦如果有一款可可视化工具就好了。以下推荐给大家两款软件。
kafka可视化工具
kafka tool
http://www.kafkatool.com/download.html 目前对于仅支持到kafka3.6版本必须是zookeeper集群管理下才可以支持如果使用得kraft集群管理将无法使用。
kafka-ui-lite
称为史上最轻便好用的kafka ui界面客户端工具可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群 部署简便可以一键启动不需要配置数据库、不需要搭建web容器 支持zookeeper ui界面化操作支持多环境管理 支持redis ui界面化操作支持多环境管理 支持权限控制可以自定义不同环境的新增、修改、删除权限默认分配只读权限避免用户的误操作
kafka ui
https://github.com/provectus/kafka-ui/releases 是github上的高星开源工具使用jar打包可应用在docker环境和非docker环境。 安装kafka-ui ,需要以下依赖
java 17 package or newer
git installed
docker installedjava 17是必备项目 将kafka-ui部署在非kafka集群节点 without docker环境下安装演示
安装JDK17
wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
解压
tar -zxf jdk-17_linux-x64_bin.tar.gz
替换到当前jdk8文件
[rootvm08 jdk]# ll
total 0
drwxr-xr-x. 9 root root 136 Jan 20 22:31 jdk-17.0.10
drwxr-xr-x. 8 10 143 255 Jul 22 2017 jdk1.8.0_144
drwxr-xr-x. 8 root root 255 Jan 20 22:23 jdk1.8.0_144_bak
[rootvm08 jdk]# rm -rf jdk1.8.0_144
[rootvm08 jdk]# mv jdk-17.0.10/ jdk1.8.0_144
[rootvm08 jdk]# java -version
java version 17.0.10 2024-01-16 LTS
Java(TM) SE Runtime Environment (build 17.0.1011-LTS-240)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.1011-LTS-240, mixed mode, sharing)
安装kafka-ui
wget https://github.com/provectus/kafka-ui/releases/download/v0.7.1/kafka-ui-api-v0.7.1.jar
创建启动配置文件
vim application.yml
根据个人情况修改相应的节点信息
kafka:clusters:- name: kafka_clusterbootstrapServers: 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092metrics:port: 9094type: JMX
##配置该集群的 JMX 相关配置如果没有可省略。在启动 kafka 时启动命令行前面添加 JMX_PORT9094
##使用kraft集群管理不需要再配置zookeeper信息
##如何管理多套集群只需在本目录继续增加name不同的kafka相关信息
spring:jmx:enabled: truesecurity:user:name: vmpassword: vm
##web的登录用户和密码
auth:type: LOGIN_FORM #LOGIN_FORM # DISABLEDserver:port: 10000
##web端口启用端口信息logging:level:root: INFOcom.provectus: INFOreactor.netty.http.server.AccessLog: INFOmanagement:endpoint:info:enabled: truehealth:enabled: trueendpoints:web:exposure:include: info,health
配置ip映射
vim /etc/hosts
##加入节点信息
10.0.0.102 vm02
10.0.0.103 vm03
10.0.0.104 vm04
启动kafka-ui
java -Dspring.config.additional-location/home/hadoop/application.yml \
--add-opens java.rmi/javax.rmi.sslALL-UNNAMED -jar kafka-ui-api-v0.7.1.jar 出现以上页面说明kafka-ui启动成功 出现以上页面说明kafka集群链接成功 使用配置文件中的name/password 进行登录
spring:jmx:enabled: truesecurity:user:name: vmpassword: vm
登录到对应的页面可以查看相应的broker/topic/consumers/tcl等相关信息。
该页面可以执行创建topic等相关操作 合理使用工具 对于中间组件的学习会事半功倍。
