windows环境kafka服务搭建

本文介绍了Kafka的相关内容,Kafka用于构建实时数据管道和流应用程序。详细说明了其环境搭建过程,包括安装JDK、配置Zookeeper和Kafka,还给出了Kafka的简单演示,如运行Kafka、创建主题、生产者发送消息和消费者接收消息等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka简介

kafka是用于构建实时数据管道和流应用程序。具有横向扩展,容错,wicked fast(变态快)等优点,并已在成千上万家公司运行。
详细可查看官网:http://kafka.apache.org/
以下进入主题,环境搭建

安装JDK

本人机器安装jdk版本是1.8.0_161,安装及环境配置请自行解决,不在本文讲解。
jdk下载地址:JDK下载

zookeeper配置

zookeeper下载地址:zookeeper下载
本示例使用版本是zookeeper-3.4.13

  1. 下载
    下载后,解压放在目录D:\programdata(本文所用的目录)下,关于zookeeper以及kafka的目录,路径中最好不要出现空格,比如D:\Program Files,尽量别用,运行脚本时会有问题。

  2. 修改配置文件
    进入目录D:\bigdata\zookeeper-3.4.10\conf,将"zoo_sample.cfg"重命名为"zoo.cfg";打开zoo.cfg,找到并编辑:
    dataDir=/tmp/zookeeper 改为 dataDir=D:/programdata/zookeeper-3.4.13/data(路径仅为示例,具体可根据需要配置)
    其他配置暂时按照默认。

  3. 配置环境变量
    在系统环境变量中添加:ZOOKEEPER_HOME=D:\programdata\zookeeper-3.4.13
    在系统变量中的path变量,增加%ZOOKEEPER_HOME%\bin

  4. 打开cmd窗口,输入zkserver,运行Zookeeper,运行结果如下:
    在这里插入图片描述
    至此,zookeeper安装并配置完毕;

kafka配置

kafka下载地址:下载kafuka

  1. 下载kafka
    要下载Binary downloads这个类型,不要下载源文件,这种方便使用。下载后,解压放在D:\programdata目录下。

  2. 修改配置文件
    进入目录:D:\programdata\kafka_2.11-2.1.1\config,编辑文件"server.properties",找到并编辑:
    log.dirs=/tmp/kafka-logs 改为 log.dirs=D:/programdata/kafka_2.11-2.1.1/kafka-logs
    注:配置文件中:zookeeper.connect=localhost:2181 是zookeeper的服务地址,请与上面已安装zookeeper服务的地址与端口保持一致。kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。

kafka简单演示

提示:

  1. 请确保启动kafka服务器前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。
  2. kafka启动窗口不要关闭。
  3. 生产者与消费者分别开窗口,切不要关闭

运行kafka

  1. 进入kafka安装目录D:\programdata\kafka_2.11-2.1.1,按下shift+鼠标右键,选择"在此处打开命令窗口",打开命令行。
  2. 在命令行中输入:.\bin\windows\kafka-server-start.bat .\config\server.properties 按下回车,启动kafka服务

创建topics

创建一个名为“test”的主题,它只包含一个分区,只有一个副本:
进入目录:D:\programdata\kafka_2.11-2.1.1\bin\windows,打开命令窗口,执行如下命令:

 >.\kafka-topics.bat --create --zookeeper localhost:2181 --replication-fac
tor 1 --partitions 1 --topic test

成功后控制台打印如下信息:
在这里插入图片描述
如果我们运行list topic命令,我们现在可以看到该主题:

>.\kafka-topics.bat --list --zookeeper localhost:2181
test

创建生产者发送消息

Kafka附带一个命令行客户端,它将从文件或标准输入中获取输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。
运行生产者,然后在控制台中键入一些消息以发送到服务器:如 Hello sunny!

 >.\kafka-console-producer.bat --broker-list localhost:9092 --topic test
Hello sunny!

启动消费者接收消息

Kafka还有一个命令行使用者,它会将消息转储到标准输出,此时,你会看到界面上输出Hello sunny!

>.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic t
est --from-beginning
Hello sunny!

参考网址

本篇部分内容参考了https://blog.youkuaiyun.com/m0_37738114/article/details/80405068 进行编写,感谢“我有一颗明珠”的热心分享。后面命令执行部分,基本按照kafka官网的命令进行:http://kafka.apache.org/quickstart

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值