kafka在window下的使用

本文详细介绍如何在Windows环境下安装和配置Kafka消息中间件,包括下载Kafka和Zookeeper,配置环境变量,启动服务,创建主题,以及如何使用生产者和消费者进行消息传递。

基于上篇介绍各种中间件的优点与缺点,最后选择kafka做为开发消息中间件的系统。

以下介绍kafka在windows中的使用

  1. 下载与安装
  1. 下载Kafka运行需求的环境zookeeper,http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
  2. 安装zookeeper,首先进入zookeeper下载文件目录,使用 tar -xzf apache-zookeeper-3.5.7-bin.tar.gz解压zookeeper文件,复制conf文件夹下的zoo_sample.cfg重命名成zoo.cfg, 配置文件可以使用默认的(为什么重命名配置文件,暂时不清楚)
  3. 安装与配置Kafka,进入到Kafka文件目录,解压文件 tar -xzf kafka_2.13-2.4.0.tgz 配置文件,进入config到server.properties修改消息存储地址
# 配置数据存储位置
# A comma separated list of directories under which to store log files
log.dirs=D:\Software\kafka\log
修改zookeeper集群配置地址:
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181
  1. 环境变量配置,Java环境变量配置必须的,zookeeper环境变量配置, 系统环境变量配置ZOOKEEPER_HOME D:\Software\zk\zookeeper-3.4.14 path添加%ZOOKEEPER_HOME%\bin
  2. 启动zookeeper,打开命令行工具,执行zkServer.cmd,zookeeper启动;启动kafka,进入到Kafka安装目录的bin文件下,执行.\bin\windows\kafka-server-start.bat .\config\server.properties;
  3. 创建topic主题,进入bin\window文件夹下,执行>.\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test创建testtopic主题。使用.\kafka-topics.bat --zookeeper 127.0.0.1:2181 --list查看创建的主题
  4. 启动生产者进入到bin\window下执行.\kafka-console-producer.bat --broker-list localhost:9092 --topic test
  5. 启动消费者,bin\window下执行.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
  6. 在生产者命令窗口输入字符,消费者对应显示,到此window下Kafka简单使用完成
### 安装 Java 开发环境 Apache Kafka 是基于 Java 构建的,因此在安装 Kafka 之前,必须确保系统中已安装 Java 开发工具包(JDK)。下载并安装最新版本的 JDK,然后将其路径配置到系统的环境变量中。这样可以确保 Kafka 和 ZooKeeper 在启动时能够正确识别 Java 环境[^1]。 ### 下载和解压 Apache Kafka 从 Apache Kafka 官方网站下载适用于 Windows 的 Kafka 发行包。由于 Kafka 原生支持 Unix-like 系统,因此在 Windows 上运行 Kafka 需要借助 Windows 兼容工具或使用社区提供的 Windows 兼容版本。下载完成后,将压缩包解压到一个合适的目录,例如 `C:\kafka`。 ### 配置 ZooKeeper Kafka 依赖 ZooKeeper 进行集群协调。在 Windows 上运行 Kafka 之前,需要先配置并启动 ZooKeeper。可以通过修改 `config/zookeeper.properties` 文件来配置 ZooKeeper 的数据存储路径和端口。启动 ZooKeeper 服务时,使用以下命令: ```bash .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties ``` ### 启动 Kafka 服务器 在 ZooKeeper 成功启动后,下一步是启动 Kafka 服务器。修改 `config/server.properties` 文件以适应 Windows 环境,特别是日志存储路径的配置。使用以下命令启动 Kafka: ```bash .\bin\windows\kafka-server-start.bat .\config\server.properties ``` 该命令会启动 Kafka 服务,并连接到之前启动的 ZooKeeper 实例。 ### 创建和管理 Kafka 主题 Kafka 主题是消息的逻辑分类。可以使用 Kafka 提供的命令行工具创建主题。例如,使用以下命令创建一个名为 `test-topic` 的主题: ```bash .\bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ``` 该命令指定了主题名称、分区数量和副本因子。可以通过类似的命令查看、描述或删除主题。 ### 使用 Kafka 生产者和消费者 Kafka 提供了命令行工具用于测试消息的生产和消费。启动一个生产者并发送消息到 `test-topic` 主题: ```bash .\bin\windows\kafka-console-producer.bat --topic=test-topic --bootstrap-server=localhost:9092 ``` 在控制台中输入消息内容后,可以使用另一个终端窗口启动消费者并接收消息: ```bash .\bin\windows\kafka-console-consumer.bat --topic=test-topic --bootstrap-server=localhost:9092 --from-beginning ``` 该命令会从主题的起始位置开始读取消息,确保可以接收到之前发送的所有消息。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值