Spark Streaming（四）kafka搭建（单节点，单broker）

最新推荐文章于 2021-03-03 22:17:32 发布

原创最新推荐文章于 2021-03-03 22:17:32 发布 · 192 阅读

0 ·

CC 4.0 BY-SA版权

Spark Streaming 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍如何下载、安装及配置Kafka环境，包括解压、环境变量设置、配置文件修改、启动步骤、主题创建、查看及消息生产和消费等关键操作。

下载Kafka

我使用的版本是kafka_2.11-2.0.1.tgz
解压：tar -xvf kafka_2.11-2.0.1.tgz -C ~/app/
添加至系统环境变量中：
在这里插入图片描述

配置Kafka

查看并修改config下面的server.properties：

# 相当于存放数据的容器
broker.id=0
log.dirs=/home/iie4bu/app/tmp/kafka-logs
zookeeper.connect=localhost:2181

启动kafka

一个server相当于一个broker
在这里插入图片描述
使用jps -m查看后台进程：

创建Topic(指定zookeeper)

创建Topic时需要指定zookeeper的地址
~/app/kafka_2.11-2.0.1/bin$ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
在这里插入图片描述

查看所有topic(指定zookeeper)

./kafka-topics.sh --list --zookeeper localhost:2181
在这里插入图片描述

查看所有topic详细信息(指定zookeeper)

kafka-topics.sh --describe --zookeeper localhost:2181
在这里插入图片描述

查看某个topic详细信息(指定zookeeper)

在这里插入图片描述

创建生产者(指定broker-list)

./kafka-console-producer.sh --broker-list localhost:9092 --topic test
因为要发送消息，所以需要与broker打交道，而不需要与zookeeper打交道，默认的broker监听的是9092端口

创建消费者(指定bootstrap-server)

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
如果带着参数--from-beginning则表示从头开始消费，如果不带则从当前开始消费