在Windows环境中安装并使用kafka

本文详细介绍Java环境搭建,包括JRE安装与环境变量配置,Zookeeper与Kafka的安装步骤,解决常见启动错误,以及Kafka主题创建、消息发布与订阅的操作指南。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装部署

安装部署Java

安装zookeeper

  • 下载zookeeper并解压,下载地址:http://zookeeper.apache.org/releases.html
    选择自己需要的版本
  • 本人选择了zookeeper-3.4.13
  • 下载成功后,将下载文件解压到指定目录
  • 进入zookeeper设置目录,将config目录下zoo_sample.cfg重命名为:zoo.cfg
  • 在编辑器中打开zoo.cfg,将dataDir的值改成自己的data目录(需要新建) 例如:dataDir=c:/data/zookeeper
  • 新建zookeeper系统变量ZOOKEEPER_HOME=,并把bin目录添加到系统的path变量中
  • 打开新的cmd,输入zkserver,运行Zookeeper服务器,如果安装成功,启动的界面如下:

    说明zookeeper已经安装成功并运行在2181端口。

  • 安装kafka

  • 下载需要的软件并解压,下载地址:
    http://kafka.apache.org/downloads.html
  • 本人下载的kafka_2.12-2.1.0,解压到C盘
  • 进入kafka安装目录的config目录,修改server.properties文件,如修改的地方如下:
    把log.dirs改成自己的目录,一般在kafka安装目录下新建文件夹来存放日志文件
  • 例如:log.dirs=C:\data\kafka_logs
  • 需要配置server.properties

     

    advertised.listeners=PLAINTEXT://本机外网IP:9092

  • 否则其他IP无法连接

  • Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181
  • 运行kafka服务器
    • 进入kafka安装目录,按下shift +右键,选择 "在此处打开命令窗口",输入如下命令并按回车
    .\bin\windows\kafka-server-start.bat    .\config\server.properties
    如果安装kafka安装成功,命令运行后应该是下面的情况:
    • kafka安装成功后就可以创建主题存储消息了

kafka启动报错:

Java HotSpot<TM> 64-bit SererVM warning:INFO: os::commit_memory<0x00000000c0000000,1073741824,0> failed;error='页面文件太小,无法操作。'......

An error report file with more information is saved as:xxx.log

 

打开kafka安装位置,在bin目录下找到kafka-server-start.sh文件,将

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"。

如果kafka安装在Windows下,在bin/windows下找到kafka-server-start.bat文件,将

set KAFKA_HEAP_OPTS=-Xmx1G -Xms1G 改为

set KAFKA_HEAP_OPTS=-Xmx256M -Xms128M

注意:有操作系统位数的区别,是32位系统修改32位的,是64位修改64位的

 

然后重新启动,运行成功就可以了;但是如果还是报同样的错误,进入到Kafka的安装位置,如下图,有一个错误的日志文件,删掉后,重新启动,就可以了。
 

 

使用kafka

  • 创建主题:进入kafka安装目录的\bin\windows下按shift +右键,选择“在此处打开命令窗口”,输入如下命令并回车:
  • kafka-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 0 --topic QuoteTopic
  • 创建producer 及consumer来测试服务器
    在kafka安装目录的\bin\windows启动新的命令窗口,producer和consumer需要分别启动命令窗口。
    • 启动producter,启动命令如下:
    kafka-console-producer.bat  --broker-list localhost:9092  --topic QuoteTopic
    • 启动consumer,启动命令如下:
    kafka-console-consumer.bat  --bootstrap-server localhost:9092  --topic QuoteTopic
    
    • 在producter窗口输入内容,如果在consumer窗口能看到内容,则说明kafka安装成功
  • kafka常用命令

  • 列出主题
  • kafka-topic.bat -list -zookeeper localhost:2181
  • 描述主题
  • kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]
  • 从头读取消息
  • kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning
  • 删除主题
  • kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181
  • 查看topic的详细信息
  • ./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]
  • 为topic增加副本
  • ./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute
  • 为topic增加partition
  • ./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]
  • 下线broker
  • ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60
    shutdown broker
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值