kafka的快速操作版

一 kafka的操作配置

1.1 修改配置文件

1.2 scp命令复制配置好的文件

1.3 启动命令

1.前台启动
bin/kafka-server-start.sh config/server.properties

2.进程后台启动
nohup bin/kafka-server-start.sh config/server.properties &

3.scp命令复制一台机器配置好的到另一台
scp  -r   /zk   bonc@10.119.65.32:/home/zk

1.4 常用kafka操作命令 

1.4.1 在master01节点上创建topic主题

在mster01节点上创建一个kafka_test的主题， 有三个分区，有两个副本

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ cd /home/bonc/export/servers/ [bonc@f62ceec424b5 servers]$ ls kafka_2.12-2.1.0  zookeeper-3.4.10 [bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh --create --zookeeper 172.17.0.2:2181 --replication-factor 2 --partitions 3 --topic kafka_test WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both. Created topic "kafka_test". [bonc@f62ceec424b5 kafka_2.12-2.1.0]$

1.4.2 查看topic主题命令

#在master节点查看主题命令

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ cd /home/bonc/export/servers/kafka_2.12-2.1.0/ [bonc@f62ceec424b5 kafka_2.12-2.1.0]$ ls bin  config  libs  LICENSE  logs  nohup.out  NOTICE  site-docs [bonc@f62ceec424b5 kafka_2.12-2.1.0]$ ls bin  config  libs  LICENSE  logs  nohup.out  NOTICE  site-docs [bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh  --list --zookeeper 172.17.0.2:2181,172.17.0.3:2181,172.17.0.4:2181 kafka_test [bonc@f62ceec424b5 kafka_2.12-2.1.0]$

 1.4.3  使用descirbe查看topic主题命令

在master01节点上查看topic主题信息：

cd   /home/bonc/export/servers/kafka_2.12-2.1.0 [bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh --describe --zookeeper 172.17.0.2:2181 --topic kafka_test Topic:kafka_test PartitionCount:3 ReplicationFactor:2 Configs: Topic: kafka_test Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1 Topic: kafka_test Partition: 1 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: kafka_test Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2,0 [bonc@f62ceec424b5 kafka_2.12-2.1.0]$

说明：

这是输出的解释。第一行给出了所有分区的摘要，每个附加行提供有关一个分区的信息。由于我们只有一个分区用于此主题，因此只有一行。

“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。（因为在kafka中 如果有多个副本的话，就会存在leader和follower的关系，表示当前这个副本为leader所在的broker是哪一个）

“replicas”是复制此分区日志的节点列表，无论它们是否为领导者，或者即使它们当前处于活动状态。（所有副本列表 0 ，1,2）

“isr”是“同步”复制品的集合。这是副本列表的子集，该列表当前处于活跃状态并且已经被领导者捕获。（可用的列表数）