kafka-集群缩容

一. 简述：

     当业务增加时，服务瓶颈，我们需要进行扩容。当业务量下降时，为成本考虑。自然也会涉及到缩容。假设集群有 15 台机器，预计缩到 10 台机器，那么需要做 5 次缩容操作，每次将一个节点下线，那么现在问题就是如何正确、安全地从 Kafka 集群中移除一台 broker？搞定这个之后，重复 5 次即可(也可以根据实际情况，一次多台)。

     一个 broker 下线，它上面的所有 partition 都会处于副本不足的状态，并且 Kafka 集群不会在其它的 broker 上生成这些副本，因此，在将一个 broker 从集群中移除之前，需要将这个 broker 上的 partition 副本都转移到最终会保留的 10 台机器上，怎么实现这个呢？Kafka 自带的分区重分配工具。

    在集群数据量较大的情况下，分区的转移可能会花费较长时间，那么在转移过程中最好不要创建新 topic，不然新的 topic 有可能又创建到要被移除的 broker 上，当然如果实在无法避免的话，可以再对新的 topic 进行一次额外的转移。

二. 缩容步骤：

    需要先获取所有 broker 的 broker id，选择待移除的 broker。 使用 kafka-reassign-partitions 脚本将待移除 broker 上的 partition 均匀地转移到最终会留在集群的 broker 上。确认待移除 broker 上没有任何 partition 之后，在 对这个 broker 进行停止和删除。其中重点是 partition 的转移或者说重分配。

  1. 获取brokerID ：

     可以通过管理工具，或者命令行，配置文件，都可以。 命令行的话：

./kafka-broker-api-versions.sh --bootstrap-server localhost:9092

  工具