网站制作添加视频,wordpress爬虫采集,公司网站建站,上海优化排名公司Kafka入门到实战 Kafka常见操作官网地址Kafka概述Kafka的基础操作更新计划 Kafka常见操作
官网地址
声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准
https://kafka.apache.org/Kafka概述 Apache Kafka 是一个开源的分布式事件流平台提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。 Kafka的基础操作
本节将在Kafka集群上执行。所有工具都可以在Kafka发行版的bin/目录下使用如果在没有参数的情况下运行每个工具都会打印所有可能的命令行选项的详细信息。 添加和删除主题 创建一个名为 my_topic_name的主题, 分区为10, 副本数为2(上次搭建的集群只有两个broker), 保留时间是1天 bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my_topic_name \--partitions 10 --replication-factor 2 --config retention.ms86400000查看分区是否正常创建 ls /tmp/kraft-combined-logs/ 删除主题, 可以看到分区被逻辑删除啦, bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic my_topic_name修改主题, 只需要把delete 改为alert即可 优雅地关闭, 以下内容直接参考官网, 未在本机上测试 关闭生产者关闭消费者添加controlled.shutdown.enabletruebin/kafka-server-stop.sh 设置具有优先的领导权, 用于一个服务实例宕机启动 auto.leader.rebalance.enabletrue跨机架平衡复制副本, 实现Kafka故障转移和容灾备份 broker.rackmy-rack-id查看消费者的位置 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group管理消费者组 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list列出消费者组详细信息 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group还可以加一些参数–members 提供使用者组中所有活动成员的列表–members --verbose 还提供分配给每个成员的分区–offsets 默认的description选项提供与“–description”选项相同的输出–state 提供有用的组级别信息–delete 删除一个或多个消费者组 扩展集群 下线服务实例 增加复制因子 限制数据迁移期间的带宽使用 配置额度 自定义额度对于 (useruser1, client-idclientA) bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type users --entity-name user1 --entity-type clients --entity-name clientA自定义额度对于 useruser1 bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type users --entity-name user1自定义额度对于 client-idclientA bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type clients --entity-name clientA为useruserA配置默认客户端id配额 bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type users --entity-name user1 --entity-type clients --entity-default配置默认配额对于user bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type users --entity-default配置默认配额对于client-id bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config producer_byte_rate1024,consumer_byte_rate2048,request_percentage200 --entity-type clients --entity-default查询分配的配额 (user, client-id) bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1 --entity-type clients --entity-name clientA查询分配的配额 (user) bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1查询分配的配额 (client-id) bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type clients --entity-name clientA查询分配的配额 (所有user) bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users查询分配的配额 (所有user, client-id) bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-type clients更新计划
下一部分是Kafka实战的代码部分, 敬请期待…
