kafka的Windows搭建及单机测试

安装zookeeper

入门Zookeeper
前提:使用zookeeper需要先安装jdk
下载路径http://www.apache.org/dist/zookeeper/
选择自己需要的版本,选择扩展名为.tar.gz的下载

下载后直接解压即可
找到目录中的conf文件夹

将zoo_sample.cfg复制一份并将文件名改为zoo.cfg
并修改配置文件中的以下属性
dataDir=D:\zookeeper\data
dataLogDir=D:\zookeeper\log
zoo.cfg配置参数详解




然后进入到bin目录,执行zkServer即可启动

Zookeeper占用的端口及作用
2181：对client端提供服务
3888：选举leader使用
2888：集群内机器通讯使用（Leader监听此端口）

安装并运行kafka

1 下载安装文件： http://kafka.apache.org/downloads.html
kafka 版本：kafka_2.11-0.10.0.1.tgz
2 解压文件
3 打开config 文件
从文本编辑器里打开 server.properties

4 把 log.dirs的值改成 “kafka数据的存放地址，多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能 /data/kafka-logs-1，/data/kafka-logs-2” （默认不改也可以）
server.properties中所有配置参数说明：

kafka中zookeeper参数配置

5 在下图所显示位置打开cmd

6 输入并执行以打开kafka:

 .\bin\windows\kafka-server-start.bat .\config\server.properties

.\bin\windows\kafka-server-start.bat config\server.properties提示错误：
错误: 找不到或无法加载主类 Files\Java\jdk1.7.0_80\lib;C:\Program
原因： jdk路径中存在空格导致
解决方式： 在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到142行，为**%CLASSPATH%**加上双引号
修改后代码(具体行数根据个人定)

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp **"%CLASSPATH%"** %KAFKA_OPTS% %*

如下启动成功（先要启动zookeeper 再启动kafka）

创建topics

打开cmd 并进入kafka_2.11-0.10.0.1\bin\windows

 kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

打开一个Producer:

在kafka_2.11-0.10.0.1\bin\windows 打开cmd

kafka-console-producer.bat --broker-list localhost:9092 --topic test

打开一个Consumer:

在kafka_2.11-0.10.0.1\bin\windows 打开cmd

  kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

然后就可以在Producer控制台窗口输入消息了。在消息输入过后，很快Consumer窗口就会显示出Producer发送的消息：

至此，Kafka运行环境的搭建就完成了。