kafka单机环境搭建及其基本使用

kafka单机环境搭建及其基本使用

1. 环境搭建

1.1 解压下载的kafka压缩包

[root@sam01 sam]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local

1.2 将解压到的kafka文件夹进行改名

[root@sam01 sam]#mv kafka_2.11-0.11.0.0 kafka

kafka需要安装zookeeper使用，但kafka集成zookeeper，在单机搭建时可直接使用。

1.3 配置kafka/config/zookeeper.propersities

• 设置dataDir（快照存放地址，自己任意配置）
• 设置clientPort（客户端连接zookeeper的接口）

1.4 配置kafka/config/server.propersities

• 修改log.dirs

• 修改zookeeper.connect

• 到此，kafka单机环境搭建完成

2. kafka的基本使用

2.1 开启zookeeper

• 前台开启

bin/zookeeper-server-start.sh config/zookeeper.properties

• 后台运行

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

2.2 开启Kafka

• 前台运行

bin/kafka-server-start.sh config/server.properties

• 后台运行

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

2.3 创建kafka主题

bin/kafka-topics.sh --create --zookeeper 192.168.xx.xx:2181 --replication-factor 1 --partitions 1 --topic Test

2.4 显示kafka所有主题

bin/kafka-topics.sh -list -zookeeper 192.168.xx.xx:2181

2.5 创建kafka生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Test

2.6 创建kafka消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.xx.xx:2181 --topic Test --from-beginning

–zookeeper：后面接的是配置的zookeeper地址

–broker-list:默认端口为9092.可自行更改