kafka常用命令

这里记录一下kafka常用命令行，我这里安装版本是2.11-2.0.0

---

创建topic

参数：
partitions：分区数，可以显式指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
虽然增加分区数可以提供kafka集群的吞吐量，但是过多的分区数或者是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为过多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
分区数也限制了producer发送消息是指定的分区，如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错；这种情况可以通过alter --partitions来增加分区数

replication-factor：副本数，控制消息保存在几个broker上，一般情况下等于broker的个数。
如果没有在创建时显式指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中default.replication.factor配置的数量

kafka-topics.sh --zookeeper 192.168.184.40:2181 --create --topic demo --partitions 2 --replication-factor 1

注：ip可换成主机名

查看topic列表

kafka-topics.sh --zookeeper 192.168.184.40:2181 --list

查看topic信息

• 查看所有topic信息

kafka-topics.sh --zookeeper 192.168.184.40:2181 --describe

• 查看某个topic信息

kafka-topics.sh --zookeeper 192.168.184.40:2181 --topic demo --describe

生产数据到指定topic

kafka-console-producer.sh --broker-list 192.168.184.40:9092 --topic demo

消费指定topic上的数据

kafka-console-consumer.sh --bootstrap-server 192.168.184.40:9092 --topic demo

• 把 topic 中以往所有的数据都读取出来

kafka-console-consumer.sh --bootstrap-server 192.168.184.40:9092 --topic demo --from-beginning

增加topic分区数

kafka-topics.sh --zookeeper 192.168.184.40:2181 --alter --topic demo --partitions 5

删除topic

kafka-topics.sh --zookeeper 192.168.184.40:2181 --delete --topic demo