敲码的汉子

Kafka的网络模块没有使用第三方库，全部依赖于java的nio，包括selector、channel、buffer等。 搞清楚kafka的网络模块，对我们线上kafka的调优有很大帮助。 kafka的总体网络结构如下图所示： 大致为分为: 1.acceptor socket请求直接发送给acceptor，acceptor是nio里面的selector，整个kafka里面只有一个acceptor，单线程。 private[kafka] class Acceptor(val endPoint: EndP

摘要 kafka集群部署后，一般都要进行对kafka进行性能测试，观察各硬件资源指标。这里只给出kafka集群测试的方法。 kafka测试的方法是使用kafka自己的kafka-producer-perf-test命令。 命令 usage: producer-performance [-h] --topic TOPIC --num-records NUM-RECORDS --record-size...

摘要 当kafka集群扩容时，新加入的节点可以很平滑的加入到集群中。但是原来创建的topic并不会将partition数据均匀的分配到这个节点上，只有新创建的topic才会分配到新的节点上。这时就可以用kafka的kafka-reassign-partitions.sh工具来进行手动平均分配。 This command moves topic partitions between replicas...

摘要 线上环境kafka集群空间一共是8TB*12(disk)*4(node)=384TB，容量算是非常充裕了，而且每个topic设置的数据过期时间都是15天，但是发现磁盘容量已经80%。预估了下每天的数据增量，存满80%至少得5个月的数据。是过期数据没有删除吗？还是配置不起效？还是其他原因。 问题情况 检查了多个topic 节点上kafka-logs目录文件夹中的数据情况，发现如下情况。 1.绝...