奔跑入坑大数据

一般搭建kafka监控的时候kafka和zk都已经搭建好了这里需要主意一个地方 1.kafka需要开启JMX端口 找到kafka安装路径，进入到bin文件夹，修改下面的地方。 vi kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:...

HW、LEO等概念和上一篇文章所说的ISR有着紧密的关系，如果不了解 ISR 可以先看下ISR相关的介绍。 HW（High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。 下图表示一个日志文件，这个日志文件中只有9条消息，第一条消息的offset（LogStartOffset）为0，最有一条消息的offset为8，offset为9的消息使用虚线表示的，代表下一条待写入的消息。日志文件的 HW 为6，表示消费者只能拉取o...