54MD的博客

扩展您的群集将服务器添加到Kafka集群很简单，只需为它们分配一个唯一的代理ID并在新服务器上启动Kafka即可。但是，这些新服务器不会自动分配任何数据分区，因此除非将分区移动到它们，否则在创建新主题之前它们不会执行任何工作。因此，通常在将计算机添加到群集时，您需要将一些现有数据迁移到这些计算机。迁移数据的过程是手动启动的，但完全自动化。发生的事情是，Kafka将添加新服务器作为其正在迁移...

自定义分区分配和迁移分区重新分配工具还可用于选择性地将分区的副本移动到特定的代理集。当以这种方式使用时，假设用户知道重新分配计划并且不需要工具生成候选重新​​分配，有效地跳过 - 生成步骤并直接移动到--execute步骤例如，以下示例将主题foo1的分区0移动到代理5,6，将主题foo2的分区1移动到代理2,3：第一步是在json文件中手工制作自定义重新分配计划： 1 ...

使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用，但默认配置通常都不匹配你的生产环境，因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的，因此详细地去调研这些参数的含义以及针对不同参数值进行测试是...

限制数据迁移期间的带宽使用Kafka允许您对复制流量应用限制，设置用于将副本从一台机器移动到另一台机器的带宽的上限。这在重新平衡群集，引导新代理或添加或删除代理时非常有用，因为它限制了这些数据密集型操作对用户的影响。 有两个接口可用于接合油门。最简单，最安全的是在调用kafka-reassign-partitions.sh时应用节流，但kafka-configs.sh也可用于直接查看和...