kafka broker节点负载均衡失效

一大早上班，运维就给我发消息，说一台主机磁盘爆了，登上去一看

使用率100%，直接吓尿，发现是我的一台kafka主机，这是个kafka集群，共3台，再登录其他2台，发现磁盘使用率才10%，高可用呢？？？？

立马觉得不对，百度没搜到啥，Google了下，说是没开启高可用。。。。

如下查看一个topic时发现Relicas确实只有一个节点。

 

解决方案：

我用的ambari建的kafka，修改Advanced kafka-broker下的offsets.topic.replication.factor，之前默认为1。

重启kafka

修改后，新建一个topic，发现正常了

但是！！！！之前创建的topic并没有增加副本，难道要删了topic重建么？？

新建的topic会自动创建多个副本，但并未指定分区。

手工添加，从1个分区增加到3个，

手工指定副本。先新建文件addReplicas.json，参考https://blog.youkuaiyun.com/liliwei0213/article/details/55212766

 

./kafka-reassign-partitions.sh --zookeeper 10.40.1.58:2181 --reassignment-json-file addReplicas.json --execute
即可解决。

 

还有个问题就是我是 用logstash创建的topic，默认就只有1个分区！！！