Kafka 创建多个主题的指南

Kafka 创建多个主题的指南

在 Kafka 中创建多个主题时，需根据业务需求灵活配置分区数、副本数、存储策略等参数。以下是多种创建方式及关键注意事项：

---

一、基础命令行创建多个主题

通过 kafka-topics.sh脚本批量创建主题，每个主题可独立设置参数：

# 创建 topic1（3分区，1副本）
kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --topic topic1 \
  --partitions 3 \
  --replication-factor 1

# 创建 topic2（5分区，2副本）
kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --topic topic2 \
  --partitions 5 \
  --replication-factor 2

验证主题配置：

kafka-topics.sh --describe \
  --bootstrap-server localhost:9092 \
  --topic topic1

---

二、批量创建多个主题（AdminClient API）

通过 Kafka 的 Java 客户端 AdminClient实现批量创建，适用于自动化脚本或程序化配置：

import org.apache.kafka.clients.admin.*;
import java.util.*;

public class BatchCreateTopics {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        AdminClient admin = AdminClient.create(props);

        // 定义多个主题配置
        List<NewTopic> topics = Arrays.asList(
            new NewTopic("topic1", 3, (short) 1)
                .configs(Map.of("cleanup.policy", "delete")),
            new NewTopic("topic2", 5, (short) 2)
                .configs(Map.of("min.insync.replicas", "2"))
        );

        // 执行批量创建
        CreateTopicsResult result = admin.createTopics(topics);
        result.all().get(); // 等待操作完成

        admin.close();
    }
}

关键参数说明：

• cleanup.policy：日志清理策略（delete或 compact）

• min.insync.replicas：ISR 中最小同步副本数（高可用性配置）

---

三、通过配置文件批量创建

将主题配置写入 JSON/YAML 文件，通过脚本循环加载：

// topics.json
[
  {"topic": "user_behavior", "partitions": 3, "replication-factor": 3},
  {"topic": "order_events", "partitions": 6, "replication-factor": 2}
]

# 使用 jq 解析并循环创建
jq -c '.[]' topics.json | while read topic; do
  kafka-topics.sh --create \
    --bootstrap-server localhost:9092 \
    --topic $(echo $topic | jq -r '.topic') \
    --partitions $(echo $topic | jq -r '.partitions') \
    --replication-factor $(echo $topic | jq -r '.replication-factor')
done

---

四、核心参数配置建议

参数	推荐值	说明
partitions	根据吞吐量计算	消费者数量 ≤ 分区数，建议 3-10 的倍数
replication-factor	≤ Broker 数量	副本数 ≥ 2 保障高可用，但需平衡存储成本
retention.ms	604800000 (7天)	消息保留时间，日志压缩主题建议设置 retention.bytes控制存储上限
segment.bytes	1GB	日志分段大小，过大影响日志滚动效率
min.insync.replicas	≥ 2	确保消息写入至少同步到多个副本，避免单点故障

---

五、高级配置场景

1. 动态修改分区数：

   kafka-topics.sh --alter \
     --topic user_behavior \
     --partitions 6 \
     --bootstrap-server localhost:9092

   注意：仅支持增加分区数，无法减少。

2. 跨机架副本分配：

   在 server.properties中配置 broker.rack，Kafka 自动优化副本分布：

   broker.rack=rack1

3. 主题级压缩策略：

   kafka-topics.sh --alter \
     --topic logs \
     --config cleanup.policy=compact \
     --bootstrap-server localhost:9092

---

六、验证与监控

1. 查看所有主题：

   kafka-topics.sh --list --bootstrap-server localhost:9092

2. 监控主题指标：

   • 生产吞吐量：kafka-producer-perf-test

   • 消费延迟：kafka-consumer-groups.sh --describe

3. ZooKeeper 节点检查：

   zookeeper-shell.sh localhost:2181 ls /brokers/topics

---

七、注意事项

1. 版本兼容性：

   • AdminClient 批量操作需 Kafka 0.10.1+ 版本

   • --alter修改分区数需 Kafka 1.1+ 支持

2. 资源限制：

   • 单集群总分区数建议 ≤ 2000（避免控制器压力过大）

   • 每个 Broker 的副本数 ≤ Broker 总数

3. 权限控制：

   # 创建 ACL 规则
   kafka-acls.sh --add \
     --allow-principal User:producer \
     --operation Write \
     --topic user_behavior

---

通过上述方法，可灵活创建满足不同业务需求的 Kafka 主题。建议生产环境中结合监控工具（如 Prometheus + Grafana）持续观察主题性能指标。