好看的手机网站布局,微网站开发教材,免费网站建设360,有哪些做课件的网站kafka 不同的参数配置对 kafka 性能都会造成影响#xff0c;通常情况下集群性能受分区、磁盘和线程等影响因素#xff0c;因此需要进行性能测试#xff0c;找出集群性能瓶颈和最佳参数。 # 生产者和消费者的性能测试工具 kafka-producer-perf-test.sh kafka-consumer-perf-t… kafka 不同的参数配置对 kafka 性能都会造成影响通常情况下集群性能受分区、磁盘和线程等影响因素因此需要进行性能测试找出集群性能瓶颈和最佳参数。 # 生产者和消费者的性能测试工具 kafka-producer-perf-test.sh kafka-consumer-perf-test.sh kafka-producer-perf-test.sh用于测试Kafka Producer的性能主要输出4项指标总共发送消息量以MB为单位每秒发送消息量MB/second发送消息总数每秒发送消息数records/second。 kafka-consumer-perf-test.sh用于测试Kafka Consumer的性能测试指标与Producer性能测试脚本一样 测试准备 前置条件3 个Broker节点1个Topic主题3个Partition分区1 个 Replication副本异步模式消息Payload为300字节消息数量 5000万kafka 版本为 3.9.2 硬件配置4 核 CPU8G 内存1T HDD 硬盘 测试工具Kafka自带的基准工具 生产者基准测试
bin/kafka-producer-perf-test.sh \--topic perf-test \--num-records 5000000 \--record-size 300 \--throughput -1 \--producer.config /opt/kafka/config/admin.properties \--print-metrics参数说明--topic 指定topic--num-records 指定生产数据量--throughput 指定吞吐量(-1表示无限制)--record-size record数据大小--producer.config 指定 kafka 客户端配置文件路径--print-metrics 打印结果指标值
消费者基准测试
bin/kafka-consumer-perf-test.sh \--topic perf-test \--messages 50000000 \--consumer.config /opt/kafka/config/admin.properties \--bootstrap-server 192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092 \--print-metrics
