Kafka安装集群部署以及简单命令行操作

准备安装环境

1.集群的配置
master zookeeper kafka
server01 zookeeper kafka
server02 zookeeper kafka
2. jar包下载，稳定版本
http://kafka.apache.org/downloads.html

1）解压安装包

[atguigu@master zzz]$ tar -zxvf kafka_2.20-0.11.0.0.tgz -C /opt/module/

2）修改解压后的文件名称，可不改

[atguigu@master module]$ mv kafka_2.11-0.11.0.0/ kafka

3）在/opt/module/kafka目录下创建logs文件夹

[atguigu@master kafka]$ mkdir logs

4）修改配置文件

[atguigu@master kafka]$ cd config/
[atguigu@master config]$ vi server.properties

修改输入以下命令：

#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/home/zzz/ruanjian/kafka-2.11/logs
#配置连接Zookeeper集群地址
zookeeper.connect=master:2181,server01:2181,server02:2181

5）配置环境变量(可不配置)

[atguigu@hadoop102 module]$ sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

[atguigu@hadoop102 module]$ source /etc/profile

6）分发安装包（如果配置环境变量后，分发后切记修改）

7）分别修改配置
/opt/module/kafka/config/server.properties中的
broker.id=1，broker.id=2

8）启动集群
依次启动三台kafka：

[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties &
[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh config/server.properties &
[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh config/server.properties &

kafka无法停止的问题【已解决】

修改kafka-server-stop.sh
将 PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)

修改为 PIDS=$(jps -lm | grep -i ‘kafka.Kafka’ | awk ‘{print $1}’)

Kafka命令行操作

1）查看当前服务器中的所有topic命令

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper master:2181 --list

2 ）创建topic

/bigdata/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --create --zookeeper master:2181,server01:2181,server02:2181 --replication-factor 3 --partitions 3 --topic track

选项说明：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

3）删除topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--delete --topic first

4）发送消息

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh \
--broker-list namenode-1:9092 --topic calllog
>hello world
>atguigu  zzz

5）消费消息

[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh \
--zookeeper hadoop102:2181 --from-beginning --topic first

–from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

6）查看某个Topic的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--describe --topic first