kafka topic

回顾kafka极简入门(二)--安装

topic是kafka的生产者和消费者最小交互的单位，我们先从topic入手，创建第一个topic.

• 进去kafka的bin目录我们发现有个kafka-topics.sh脚本

   

   

1.创建topic

• 官方推荐如果kafka版本大于等于2.2使用--bootstrap-server替代--zookeeper （2.2以上也兼容--zookeeper）命令如下

 

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic mytest

• 如果kafka版本小于2.2则命令如下

 

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest

参数解释

• 1.指定kafka集群(2.2以上)或zookeeper集群

 

--bootstrap-server node1:9092,node2:9092,node3:9092....

或

 

--zookeeper node1:2181,node2:2181,node3:2181...

• 2.指定分区数

 

--partitions 

• 3.指定分区的副本数

 

--replication-factor

所以执行上面命令将会创建一个名为mytest的topic，该topic下面有1个分区,并且该分区只有1个副本。

PS:除了手动创建主题外，还可以将代理配置为在发布不存在的主题时自动创建主题

2.查看topic

• 查看指定的topic

 

kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic mytest

image.png

Partition:0 表示该分区的id为0
leader: 9 表示分区的首领副本所在的broker（本例子中broker.id配置为9,所以这里显示9,具体在config/server.properties配置。这里只有一个分区，所以首领分区也就是自己）
Replicas: 9 表示分区的跟随副本所在的broker
Isr: 9 表示分区的同步副本所在的broker(同步副本可以认为跟首领副本准实时同步的副本，可以配置判断条件，后面会讲，首领副本挂掉后，服务器会从同步副本中选举新的首领)

• 查看所有可用的topic

 

kafka-topics.sh --list--bootstrap-server localhost:9092

image.png

3.测试

• 3.1 往topic发布信息

 

kafka-console-producer.sh --broker-list localhost:9092 --topic mytest

发送三个消息，分别是hello, world和！

 

image.png

• 3.2 消费消息
  新开一个控制台

 

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --from-beginning

注意: --from-beginning 表示从最开始的offset处开始消费。如果不写表示从最新的offset处消费，那么先发送了消息再开启消费者是收不到已发送的信息的

image.png

接收成功。