kafka 命令行 创建topic 查看topic详情 生产消费数据,查看偏移量,修改分区偏移量(多方法),修改分区数量、修改数据保留时间
1.知识点
1)Topic相关:创建Topic、删除Topic、查看Topic列表、查看Topic详细信息
2)生产者相关:往某个Topic中生产数据
3)消费者相关:从某个Topic中消费数据
4)消费组(group)相关:查看消费者group、查看消费者消费情况(消费至那个offset/积压数据量多少)
5)修改topic下某个消费者(groupid)所有分区或某个分区的offset为任意指定偏移量
2.实现命令
以下命令若非特别说明均在kafka安装目录的bin目录下执行
1)Topic相关:创建Topic、删除Topic、查看Topic详细信息、查看Topic列表、修改topic分区数
TOP相关的命令执行连接zookeeper 端口2181
创建Topic
# 创建一个3分区1副本名为test的topic,必须指定分区数 --partitions 和副本数--replication-factor,其中副本数量不能超过kafka节点(broker)数量
./kafka-topics.sh --zookeeper localhost:2181 --topic test --partitions 3 --replication-factor 1 --create
删除Topic
# 删除名为test的topic
# 删除topic时只有在kafka安装目录config目录下的server.properties中将delete.topic.enable 设置为true topic才会真实删除,否则只是标记为删除,实则不会删除
./kafka-topics.sh --zookeeper localhost:2181 --topic test --delete
查看某个Topic 分区 副本信息
# 查看名为test的topic的详细信息,分区 副本的数量
./kafka-topics.sh --zookeeper localhost:2181 --topic test --describe
查看有那些Topic
# 查看kafka中创建了那些topic
./kafka-topics.sh --zookeeper localhost:2181 --list
修改topic的分区数
# 将名为test的topic 修改为4个分区
# 注意 分区数只能增加不能减少
./kafka-topics.sh --zookeeper localhost:2181 -alter --partitions 4 --topic