学习kafka,这一篇文章带你入门。
1. windows集成环境搭建
1.1 java8安装
这个不用详解了吧,既然学习这篇文章,我相信都是已经会安装java的,实在没有安装过的,找度娘吧。
1.2 zookeeper安装
由于Kafka的运行依赖于Zookeeper
,所以在运行Kafka
之前需要安装并运行Zookeeper
1.2.1 下载zookeeper
Zookeeper下载路径:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.7/ 如上图所示。
1.2.2 安装并修改zoo.cfg配置文件
1.解压到文件下(我的目录是 D:\webserver\apache-zookeeper-3.5.7-bin),我习惯修改目录名称为:apache-zookeeper-3.5.7
2.打开D:\webserver\apache-zookeeper-3.5.7\conf,复制zoo_sample.cfg重命名成zoo.cfg
3.编辑zoo.cfg,修改dataDir为【dataDir=D:\webserver\apache-zookeeper-3.5.7\data】,
在D:\webserver\apache-zookeeper-3.5.7目录下创建data目录。
//zookeeper默认用的是8080端口,和tomcat的默认端口冲突,因此这个地方最好修改。
在文件的最后增加一行:admin.serverPort=8888
1.2.3 设置zookeeper环境变量
ZOOKEEPER_HOME D:\webserver\apache-zookeeper-3.5.7
Path 在现有的值后面添加 %ZOOKEEPER_HOME%\bin
如图所示:
1.2.4 验证安装是否成功
打开cmd,输入zkServer.cmd
,运行如下:
说明运行成功了。
1.3 kafka安装
1.3.1 下载kafka
Kafka
下载路径 http://kafka.apache.org/downloads
1.3.2 解压
.解压文件kafka_2.13-2.4.0.tgz
(我的目录是D:\webserver\kafka_2.13-2.4.0
【这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径】)
1.3.3 修改server.properties
配置文件
打开目录D:\webserver\kafka_2.13-2.4.0\config下server.properties
文件,把log.dirs
修改为:log.dirs=D:\webserver\kafka_2.13-2.4.0\kafka-logs
1.3.4 启动kafka服务
打开命令窗口cmd,进入目录D:\webserver\kafka_2.13-2.4.0
执行以下命令,启动kafka
通讯的服务器:.\bin\windows\kafka-server-start.bat .\config\server.properties
如上图所示,kafka
启动成功!!!其中包括了版本、启动时间等信息。
1.3.5 测试
1.3.5.1 创建主题
进入kafka文件目录D:\webserver\kafka_2.13-2.4.0\bin\windows
,创建kafka
的消息topics
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo
执行后:如图所示,执行成功。
1.3.5.2 创建生产者Producer和Consumer
分别打开两个cmd窗口,进入目录D:\webserver\kafka_2.13-2.4.0\bin\windows
,创建Producer和Consumer
cmd窗口1: Producer:
kafka-console-producer.bat --broker-list localhost:9092 --topic testDemo
cmd窗口2: Consumer:
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testDemo
注意:kafka-console-consumer.bat --zookeeper localhost:2181 --topic testDemo 这个方法已经过时了不能再用
1.3.5.3 用自带脚本进行测试
然后就可以在Producer中发信息,在Consumer中收信息了
在Producer窗口输入:hello binge
然后观察Consumer窗口是否能收到信息。
测试完成了,说明kafka安装成功。
2. SpringBoot2.x 整合kafka
2.1 添加maven依赖
pom文件需要增加对kafka的依赖,如下:
<dependency>
&