dgqg1223

https://www.cnblogs.com/huxi2b/p/6223228.html

压力测试 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 producer 压力测试 bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --producer-props bootstrap.servers=dw-node01:9092,dw-node0

Kafka 辅助工具 目前主流有3中 Kafka辅助工具 KafkaManager KafkaMonitor KafkaTool KafkaManager https://github.com/yahoo/CMAK 解压 kafka-manager-1.3.3.22.zip 修改conf/application.conf kafka-manager.zkhosts= 为 zookepper地址 编写启动脚本 nohup /opt/kafka-manager-1.3.3.22/bin/kafka-ma

Kafka 介绍 官方网址 采用生产者消费者模型,具有高性能（单节点支持上千个客户端，百兆/s吞吐量）、持久性（消息直接持久化在普通磁盘上且性能好)、分布式（数据副本冗余、流量负载均衡、可扩展）、灵活性（消息长时间持久化+Client维护消费状态）的特点 Kafka优势 解耦与缓冲: 例如使用SparkStream时,于flume采集后的数据传输,解决了大量数据导致SparkStream崩溃的问...