lvwenyuan_1的博客

由于业务量突然上涨，原来kafka的一个topic只有1个分区，消息产生了堵塞，现在需要监控，本文采取的案例是通过pushagteway +prometheus 的形式。 话不多说，直接是上脚本 #!/bash/bin #传入group id ，通过命令获取lag groupId=$1 kafka-consumer-groups.sh --new-consumer --bootstrap-...

事情原由 近来kafka总是时不时的出问题，出现的问题 : open too many files。我们限定的文件数已经是3W多了，一般都是维持在3K这样。然后就是原因找不到，不太清楚是kafka的bug还是磁盘或者网络的原因，现象如下。 所以没办法，就搞个脚本，时不时去探测下kafka进程的打开文件数，如果文件数大于某个值，就重启该节点的broker节点。 脚本编写 1.查看...