javaMylife的博客

测试结果：31.89 34.10 前后对比可以得知，每次发送70000条记录时效率最高，此时吞吐量 70000*1KB/s 70MB/s。--producer-props bootstrap.servers=localhost:9092 # 指定服务。kafka-producer-perf-test.sh # 生产者测试。--num-records 300000 # 总共300000条数据。kafka-consumer-perf-test.sh # 消费者测试。# 消费者吞吐量测试工具。

kafka集群开启sasl配置后，本地电脑使用kafkatools连接kafka集群速度非常非常慢，但是生产环境的kafkaconsumer却很快，而且不采用sasl模式也是很快的，最后在本地hosts添加kafka集群的域名配置，连接地址采用域名不使用Ip就可以了。

大数据异常。

每个分区都可设置多个分区副本，副本之间内容一样其中一个副本为leader副本，负责通信、写入写出，Acks机制ack=0ack=1ack=-1/allkafka幂等性重复校验写入数据流程1、producer 汇集一个batch数据，交给kafka集群2、kafka通过集群分区规则，找的所在分区的leader副本进行数据写入pagecatch3、leader副本后台会将pagecatch的数据持久化到磁盘上，形成segment4、followe副本会向l.

Kafka-consumer 不要忘了closepackage com.ws.kafkaimport java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apache.kafka.common.serialization.StringSerializerobject KProducer { def main(args: Array.

查看offset