KAFKA简单命令行操作

KAFKA简单命令行操作

1、压缩包解压后，config目录下server.properties文件配置
唯一值：kafka集群中每台服务器的id值不一样且唯一
broker.id=0

取消注释：是否可以删除topic
delete.topic.enable=true

log.dirs=路径(数据所在路径)

zookeeper集群：机器名1:2181，机器名2:2181，机器名3:2181

zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

端口号：listeners=PLAINTEXT://:9092

2、bin目录下使用的
kafka启动停止：kafka-server-start.sh和kafka-server-stop.sh
topic创建，删除和详细信息:kafka-topics.sh
测试环境生产者和消费者：kafka-console-producer.sh和kafka-console-consumer.sh

3、启动应用
启动ZK：bin目录下zkstart.sh，然后util.sh查看，确认启动成功 zkServer.sh status，看到leader或者follower代表启动成功
启动kafka：bin/kafka-server-start.sh config/server.properties

4、创建topic
bin/kafka-topics.sh --create --zookeeper topic信息写到zookeeper中 分区多少个 副本数 topic名称

bin/kafka-topics.sh --create --zookeeper hadoop101:2181 --partitions 2 --replication-factor 2 --topic first

查看有多少topic

bin/kafka-topics.sh --list --zookeeper  hadoop101:2181

5、发送消息：
bin/kafka-console-producer.sh --broker-list kafka服务器及端口号 发送到哪个topic

bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first

6、消费消息：
bin/kafka-console-consumer.sh --zookeeper zookeeper服务器及端口

bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first

从头开始消费消息：

bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first --from-beginning

**
7、高版本将offset维护在kafka本地，不给zookeeper，少通讯一次，效率高(kafka集群中的服务器，端口号不一样)**

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first --from-beginning

数据存kafka的topic，在zookeeper；

bIn/kafka-topics.sh --list --zookeeper hadoop101:2181

返回多一个 __consumer_offsets；系统创建的，因为-bootstrap-server连的kafka集群

**
8、查看topic详情（Isr 按照选举优先级排列）**

bin/kafka-topics.sh --zookeeper hadoop101:2181 --describe --topic first

**
9、删除topic

bin/kafka-topics.sh --delete --zookeeper hadoop101:2181 --topic first

未完待续