Kafka 单机的安装与配置

安装Zookeeper

https://blog.youkuaiyun.com/ko0491/article/details/107697659

1、上传kafka_2.12-1.0.2.tgz到服务器并解压

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

2、配置环境变量并生效

vim /etc/profile

3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件：
Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址是localhost:2181，
后面的 myKafka 是Kafka在Zookeeper中的根节点路径

mkdir -p /var/data/kafka/kafka-logs
source /etc/profile

4、启动Zookeeper：

zkServer.sh start

5、查看zk状态

6、启动kafka

7、查看zk

8、CTRL+C终止-后台启动

kafka-server-start.sh -daemon ../config/server.properties
ps aux | grep kafka

9、停止

简单使用

生产与消费

1、kafka-topics.sh 用于管理主题

# 列出现有的主题
[root@node1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题，该主题包含一个分区，该分区为Leader分区，它没有Follower分区副本。
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_1
# 删除指定主题
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1

2、kafka-console-producer.sh用于生产消息：

# 开启生产者
[root@node1 ~]# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9020

3、kafka-console-consumer.sh用于消费消息

# 开启消费者
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
# 开启消费者方式二，从头消费，不按照偏移量消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning