
Kafka
Yang_T_1024
快快长大
展开
-
kafka-常见问题
(1)如果想消费已经被消费过的数据 consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。 原因:消费者消费了数据并不...原创 2017-07-30 23:10:59 · 573 阅读 · 1 评论 -
Kafka性能测试方法
以下会介绍利用Kafka自带的性能测试脚本及KafkaManager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态。 Kafka性能测试脚本 $KAFKA_HOME/bin/kafka-producer-perf-test.sh 该脚本被设计用于测试Kafka Producer的性能,主要输出4项指标,总共发送消息量(以MB为单位),每秒发送消息...原创 2017-07-30 23:40:03 · 3211 阅读 · 2 评论