Kafka 安装教程

hsukk17

已于 2024-11-11 19:40:42 修改

阅读量1.4k

点赞数 36

分类专栏： Kafka 文章标签： kafka 分布式大数据

于 2024-11-11 19:40:11 首次发布

本文链接：https://blog.youkuaiyun.com/m0_70691645/article/details/143693079

版权

Kafka 专栏收录该内容

3 篇文章

订阅专栏

三、启动 Kafka 和 Zookeeper

前言

Kafka 是一种高性能、分布式的消息队列系统，广泛应用于大数据实时处理场景中。本文将详细介绍如何在 Linux 环境中安装和配置 Kafka，希望对初学者有所帮助。

一、安装前的准备

1. 系统要求

操作系统：本文以 CentOS 7 为例，其他 Linux 系统安装步骤类似。
Java 环境：Kafka 依赖 Java 运行环境，需要先安装 JDK。
Zookeeper: Kafka 依赖 Zookeeper 进行分布式协调。Zookeeper 可以单独安装，也可以使用 Kafka 内置的 Zookeeper 服务。

2. 安装 JDK

检查是否安装 JDK：java -version
如果没有安装，可自行安装 JDK。

3. 下载 Kafka

进入 Kafka 官方下载页面：Kafka 下载页面。
选择合适的 Kafka 版本（比如最新稳定版），复制下载链接。
下载 Kafka。

解压文件：

cd /opt/moudles
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/installs/

修改解压后的文件名称：

mv kafka_2.12-3.0.0/ kafka3
# 版本号解读：2.12 是scala版本，3.0.0是kafka版本

二、配置 Kafka

Kafka 主要有两个配置文件：server.properties 和 zookeeper.properties。

1. 配置 Zookeeper

Kafka 依赖 Zookeeper 进行分布式协调。Zookeeper 的配置文件位于 config/zookeeper.properties。(安装Zookeeper时已配置）

2. 配置 Kafka Broker

Kafka Broker 的配置文件位于 config/server.properties。

打开配置文件：

vi /opt/install/kafka3/config/server.properties

修改 broker.id（每个 Kafka 节点需要一个唯一的 ID）：
```
broker.id=0
```

配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）：

zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
# /kafka的意思是：在zk中创建一个文件夹叫做kafka

配置日志存储路径：
```
log.dirs=/opt/installs/kafka3/datas 
```

3. 分发Kafka安装包

 xsync.sh /opt/install/kafka3/ 
# 分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2 
# 注：broker.id 不得重复，整个集群中唯一。

4. 配置环境变量（xcall.sh）

# 修改bigdata01的环境变量
export KAFKA_HOME=/opt/installs/kafka3
export PATH=$PATH:$KAFKA_HOME/bin

# 分发一下：
xsync.sh /etc/profile

# 刷新环境变量
 xcall.sh source /etc/profile

三、启动 Kafka 和 Zookeeper

启动 Zookeeper：

xcall.sh zkServer.sh start
# 或者使用脚本zk.sh start

启动 Kafka：

# 依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka，先进入到kafka3 这个文件夹中

bin/kafka-server-start.sh -daemon config/server.properties

# 关闭指令
bin/kafka-server-stop.sh

使用 jps 命令查看进程，确保 Zookeeper 和 Kafka 都已成功启动。

四、测试 Kafka

1. 创建 Topic

bin/kafka-topics.sh --bootstrap-server bigdata01:9092 --create --partitions 1 --replication-factor 3 --topic first

2. 生产消息

bin/kafka-console-producer.sh  --bootstrap-server bigdata01:9092 --topic first

输入消息内容，然后回车发送。

3. 消费消息

打开另一个终端，输入以下命令接收消息：

bin/kafka-console-consumer.sh --bootstrap-server bigdata01:9092 --topic first

五、总结

至此，我们成功在 Linux 系统上安装并配置了 Kafka，并进行了简单的消息收发测试。