Kafka集群故障恢复

最新推荐文章于 2025-05-21 09:56:12 发布

原创

最新推荐文章于 2025-05-21 09:56:12 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节 #kafka #运维

本文详细介绍了如何使用kafka-reassign-partitions.sh工具进行Kafka集群的故障恢复，包括查看当前topic的分配方案，创建话题列表json，生成推荐分配方案，自定义分配方案，执行分区和副本的重新分配，以及验证分配移动是否成功。

获取当前kafka指定的topic数据分配方案 ,可以看到有三个分片 , 两个副本
./bin/kafka-topics.sh --zookeeper hrmw-zookeeper-01:2181,hrmw-zookeeper-02:2182,hrmw-zookeeper-03:2183 --describe --topic hrmwAlarmDatav2
   Topic: hrmwAlarmDatav2   Partition: 0   Leader: 3   Replicas: 3,1   Isr: 3,1
   Topic: hrmwAlarmDatav2   Partition: 1   Leader: 1   Replicas: 1,2   Isr: 2,1
   Topic: hrmwAlarmDatav2   Partition: 2   Leader: 2   Replicas: 2,3   Isr: 2,3

#创建一个topic列表json
cat topics-to-move.json
{
"topics": [
{"hrmwAlarmDatav2"},
{"hrmwRawDatav2"},
{"hrmwRealDatav2"}
],
"version":1
}

#通过上述的topic 获取到当前的分配方法, 和推荐的分配方案
./bin/kafka-reassign-p