kafka配置与使用

说明：三个节点kafka部署

1.安装kafka：解压

tar -zxvf kafka_2.12-1.0.0

2.配置环境变量：vim ~/.bash_profile（改完source一下）

export KAFKA_HOME=/root/software/kafka_2.12-1.0.0

export PATH=$PATH:$KAFKA_HOME/bin

3.配置kafka文件：vim server.properties

broker.id=0
listeners=PLAINTEXT://192.168.211.21:9092
host.name=hdp01
log.dirs=/root/software/kafka_2.12-1.0.0/kafka-logs

zookeeper.connect=hdp01:2181,hdp02:2181,hdp03:2181

创建：mkdir kafka-logs

拷贝到其他节点（修改broker.id，保证唯一）

4.后台启动：（每个kafka都执行）

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties &

5.创建、删除topic

kafka-topics.sh --create --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --replication-factor 3 --partitions 1 --topic my-topic

kafka-topics.sh --delete --zookeeper hdp01:2181 --topic 

6.查看kafka的topic相关信息

kafka-topics.sh --list --zookeeper hdp01:2181

kafka-topics.sh --describe --zookeeper hdp01:2181 --topic my-topic

7.测试

发送消息：kafka-console-producer.sh --broker-list hdp01:9092 --topic my-topic

消费消息：kafka-console-consumer.sh --bootstrap-server hdp01:9092 --topic my-topic --from-beginning