Kafka安装及配置

前言

本次安装的Kafka version:kafka_2.11-2.0.0.tgz

Kafka安装包下载：官网源下载

---

一、解压安装包

#解压安装包
[root@sole download]# tar -xvf kafka_2.11-2.0.0.tgz -C /opt/software/
#重命名安装包
[root@sole software]# mv kafka_2.11-2.0.0/ kafka211200

---

二、编辑配置

• 修改server.properties如下：

vi /opt/software/kafka211200/conf/server.properties

# 设置broker节点，单节点不做修改
broker.id=0
# 设置允许删除topic，之后删除topic同时zookeeper内也会删除,此设置需要手动添加
delete.topic.enable=true
# 设置监听窗口
listeners=PLAINTEXT://sole:9092
# 设置kafkar日志存放目录
log.dirs=/opt/software/kafka211200/kafka-logs
#设置zookeeper连接
zookeeper.connect=sole:2181

---

三、配置环境变量

vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/software/kafka211200
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

---

四、测试服务

kafka-server-start.sh -daemon /opt/software/kafka211200/config/server.properties

---

五、Kafka常用指令

#kafka服务启动
[root@sole ~]# kafka-server-start.sh -daemon /opt/software/kafka211200/config/server.properties

#列出所有Topic
[root@sole ~]# kafka-topics.sh --zookeeper 192.168.237.160:2181 --list

#删除topic
[root@sole ~]# kafka-topics.sh --delete --topic mydemo --zookeeper 192.168.237.160:2181
#删除zookeeper中该topic相关的目录命令(delete.topic.enable=flase时需要操作,true的情况下无需删除)
rm -r /kafka/config/topics/mydemo
rm -r /kafka/brokers/topics/mydemo

#创建Topic
[root@sole ~]# kafka-topics.sh --create --topic mydemo  --zookeeper 192.168.237.160:2181 --replication-factor 1 --partitions 1

#查看Topic的分区和副本
[root@sole ~]# kafka-topics.sh --describe --zookeeper 192.168.237.160:9092  --topic mydemo

#查看topic消费的offset(偏移量)
[root@sole ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.237.160:9092 --topic mydemo --time -1

#重置消费组的游标
[root@sole ~]# kafka-consumer-groups.sh --bootstrap-server sole:9092 --group attend --reset-offsets --all-topics --to-earliest --execute

#启动kafka生产者
[root@sole ~]# /kafka-console-producer.sh --broker-list 192.168.237.160:9092 --topic mydemo

#启动kafka消费者
#从头开始
[root@sole ~]# kafka-console-consumer.sh --bootstrap-server 192.168.237.160:9092 --topic mydemo --from-beginning
#从尾部开始
[root@sole ~]# kafka-console-consumer.sh --bootstrap-server 192.168.237.160:9092 --topic mydemo --offset latest
#指定分区
[root@sole ~]# kafka-console-consumer.sh --bootstrap-server 192.168.237.160:9092 --topic mydemo --offset latest --partition 1
#取指定个数
[root@sole ~]# kafka-console-consumer.sh --bootstrap-server 192.168.237.160:9092 --topic mydemo --offset latest --partition 1 --max-messages 1

#查看有哪些消费者Group
[root@sole ~]# kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.237.160:9092 --list

#查看Group详情
[root@sole ~]# kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.237.160:9092 --group test --describe

#删除Group
[root@sole ~]# kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.237.160:9092 --group test --delete

---

PS：如果有写错或者写的不好的地方，欢迎各位大佬在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点个赞！不胜感谢！

原创作者：wsjslient

作者主页：https://blog.youkuaiyun.com/wsjslient

---