Kafka-主题

主题

主题的目的是将消息进行归类。

主题创建

通过shell创建主题

[root@host]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topicName --partitions 4 --replication-factor 1

创建成功以后会在log.dir或者log.dirs参数所配置的目录下创建相应的主题分区，

• 如果只有一个节点，副本因子只能为1。副本因子的个数必须小于或者等于Borker个数
• 各个Broker上创建的文件夹个数为分区数与副本因子的乘积。

通过TopicCommand创建主题

import kafka.admin.TopicCommand;

public class TopicCommandDemo {
    public static void main(String[] args) {
        createTopic();
    }

    public static void createTopic(){
        String[] options = new String[]{"--zookeeper",
                "ip:port/myKafka",
                "--create",
                "--topic",
                "topicNameByCommand",
                "--replication-factor",
                "1",
                "--partitions",
                "1"
        };
        TopicCommand.main(options);

    }
}

主题其他操作

• 查看主题

# 列出所有的主题名
[root@host bin]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 列出某个主题的详情
[root@host bin]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topicName
# 列出多个主题的详情
[root@iZbp1ebyrlswq3dnbonf9dZ bin]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topicName,topicNameByCommand

• 修改主题

[root@host bin]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --alter --topic topicName --partitions 5
# 分区只支持增加不支持减少

• 删除主题

[root@host bin]# ./kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topicNameByCommand --if-exists

KafkaAdminClient操作

// 查看topic信息
public static void describeTopic() throws ExecutionException, InterruptedException {
    String broker = "ip:port";
    String topicName = "topicName";
    Properties properties = new Properties();
    properties.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG,broker);
    AdminClient client = AdminClient.create(properties);
    DescribeTopicsResult topicsResult = client.describeTopics(Collections.singleton(topicName));
    Map<String, TopicDescription> descriptionMap = topicsResult.all().get();
    descriptionMap.forEach((k,v)->{
        System.err.println("key:"+k+",value:"+v);
    });
    client.close();
}
// 创建topic
public static void createTopic() throws ExecutionException, InterruptedException {
    String broker = "47.97.73.187:9092";
    String topicName = "topicNameByClient";
    Properties properties = new Properties();
    properties.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG,broker);
    AdminClient client = AdminClient.create(properties);
    CreateTopicsResult topics = client.createTopics(Collections.singleton(new NewTopic(topicName, 2, (short) 1)));
    topics.all().get();
    client.close();
}
// ...