kafka 的安装

本文详细介绍了如何在本地安装Kafka,包括下载Kafka,解压文件,配置ZooKeeper和Kafka,启动ZooKeeper和Kafka,创建主题以及发布和消费消息。过程中强调了手动设置broker.id的重要性,以确保集群稳定性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.下载 Kafka:

前往 Apache Kafka 官方网站(https://kafka.apache.org/downloads)下载适用于你操作系统的 Kafka 版本
ps: kafka 3.0.0开始不再支持 java 8和 scala 2.12

2.解压文件

将下载的 Kafka 压缩包解压到你选择的目录中。
这里使用 tar 命令进行解压,不了解 tar命令的可以到这篇文章下查看https://blog.youkuaiyun.com/sangewuxie/article/details/131265798

tar -xf kafka_2.12-3.4.0.tgz -C ~/util

个人将所有工具都放在了当前用户的 util 包下,根据自己实际情况选择目录

3.配置 zk

Kafka 依赖于 ZooKeeper 用于协调和管理集群,这里直接使用 kafka 自带的 zk。在 Kafka 目录下找到 config 文件夹,并编辑 zookeeper.properties 文件。

修改 dataDir 属性,指定 ZooKeeper 数据存储的目录。

这里编辑使用的是 vim 工具,也可以是 vi,什么文本编辑工具都可以啦。对于 vi/vim工具的使用后面会出一篇详细介绍
目录根据自己需要修改,也没那么在意啦

### 安装和配置Apache Kafka 在Windows上安装和配置Apache Kafka的过程可以分为几个部分。以下是详细的说明: #### 下载Apache Kafka 可以从Apache Kafka的官方网站下载最新版本的二进制发行版[^1]。 ```bash wget https://downloads.apache.org/kafka/<version>/kafka_<scala-version>-<version>.tgz ``` 解压文件并进入目录: ```bash tar -xzf kafka_<scala-version>-<version>.tgz cd kafka_<scala-version>-<version> ``` #### 配置环境变量 为了方便运行Kafka命令,建议将Kafka的`bin`目录添加到系统的PATH环境中。可以通过编辑`.bashrc`或其他shell初始化脚本来完成此操作: ```bash export PATH=<path-to-kafka-bin>:$PATH source ~/.bashrc ``` #### 启动Zookeeper服务 Kafka依赖于Zookeeper来协调集群中的节点。启动Zookeeper服务前,请确保已正确安装Java JDK,并设置JAVA_HOME环境变量。 ```bash bin/zookeeper-server-start.sh config/zookeeper.properties ``` #### 启动Kafka Broker 接着启动Kafka broker服务: ```bash bin/kafka-server-start.sh config/server.properties ``` 此时,Kafka应该已经成功运行在一个本地单机模式下。 #### 使用UI for Apache Kafka简化管理 对于更复杂的生产环境或者需要可视化管理的情况,可以考虑使用专门设计用于管理和监控Kafka集群的工具,比如UI for Apache Kafka[^2]。这类工具有助于提升效率以及降低人为错误的风险。 ```python import subprocess def start_kafka(): try: zookeeper_process = subprocess.Popen(['bin/zookeeper-server-start.sh', 'config/zookeeper.properties']) kafka_broker_process = subprocess.Popen(['bin/kafka-server-start.sh', 'config/server.properties']) # Wait indefinitely or implement a timeout mechanism as needed. zookeeper_process.wait() kafka_broker_process.wait() except Exception as e: print(f"Error starting Kafka services: {e}") start_kafka() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值