Kafka 常用命令

1. 查看kafka队列中group信息

2. 查看kafka队列中topic信息

3. 查看kafka队列指定topic的队列深度/消费情况

4. 创建/删除/修改topic

5. 模拟生产者/消费者

分步指南

1. 查看kafka队列中group信息
   a. 查看kafka中所有的组
       bin/kafka-consumer-groups.sh --bootstrap-server 10.128.5.98:9092 --list
2. 
   b. 查看指定的组的
        bin/kafka-consumer-groups.sh --bootstrap-server 10.128.5.98:9092 --describe --group ai-metricdata
   
   
3. 查看kafka队列中topic信息
   a. 查看kafka中所有的topic
       bin/kafka-topics.sh --zookeeper 10.128.5.98:2181 --list
   
   
   b. 查看kafka中指定topic分区信息
       bin/kafka-topics.sh --zookeeper 10.128.5.98:2181 --describe --topic ai_jl_metricdata
   
   
   
    
4. 查看kafka队列指定topic的队列深度/消费情况
   a. 查看kafka指定topic的offset\LAG信息(方法一)
        bin/kafka-consumer-groups.sh --bootstrap-server 10.128.5.98:9092 --describe --group ai-metricdata
       
   
   b. 查看kafka指定topic的offset\LAG信息(方法二)
       bin/kafka-consumer-offset-checker.sh --zookeeper 10.128.5.98:2181 --topic ai_jl_metricdata --group ai-metricdata
       
   
   c. 查看kafka指定topic的offset信息(方法一)
       bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic ai_jl_metricdata  --time -1 --broker-list 10.128.5.98:9092 
      
    
5. 创建/删除/修改topic
   a. 创建topic
       bin/kafka-topics.sh --create --zookeeper 10.128.5.98:2181 --topic server --partitions 3 --replication-factor 2 
       #创建topic名为server，分区数为3，副本数为2
       
   b. 彻底删除topic
       bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】
       如果kafaka启动时加载的配置文件中server.properties没有配置 delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion
   
       你可以通过命令：./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
       此时你若想真正删除它，可以如下操作：
       （1）登录zookeeper客户端：命令：./bin/zookeeper-client
       （2）找到topic所在的目录：ls /brokers/topics
       （3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。

       总结：
       彻底删除topic：
           1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录
           2、如果配置了delete.topic.enable=true直接通过命令删除，如果命令删除不掉，直接通过zookeeper-client 删除掉broker下的topic即可。

   
   
   c. 修改topic partitions数量
       bin/kafka-topics.sh --zookeeper 10.128.5.98:2181 -alter --partitions 3 --topic ai_jl_metricdata
6. 
      
7. 模拟生产者/消费者
   生产者产生消息：
       bin/kafka-console-producer.sh --broker-list 10.128.5.98:9092 --topic server
      
   
   消费者消费消息：
       bin/kafka-console-consumer.sh --bootstrap-server 10.128.5.98:9092 --topic serve
8.