姜希成的博客

【代码】Kafka-代码模板。

JVM参数设置：bin/kafka-start-server.sh 中的jvm设置。Kafka可视化管理工具：kafka-manager。

也可以根据消息中的某一个关键字来进行区分。每个partition中的消息都有一个唯一的编号，称之为offset，用来唯一标示某个分区中的message。这意味kafka中的consumer对集群的影响是非常小的，添加一个或者减少一个consumer，对于集群或者其他consumer来说，都是没有影响的，因为每个consumer维护各自的消费offset。一个partition中的message的offset都是唯一的，但是不同的partition中的message的offset可能是相同的。

HW：HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO(log-end-offset)作为HW，consumer最多只能消费到HW所在的位置。Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制，很好的均衡了确保数据不丢失以及吞吐率。当producer生产消息至broker后，ISR以及HW和LEO的流转过程。