kafka windows单机安装测试

本文详细介绍了如何在Windows环境下安装、配置、启动Kafka,包括下载与解压、配置文件修改、启动zookeeper和kafka、创建与查看topic、发布与消费消息等步骤,并附带解决常见错误的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

初步了解一下一下kafka的基本用法。

win7 64 bit

jdk1.7

1)下载kafka_2.10-0.8.2.1.tgz并解压(整合scala)
2)修改配置文件(可选)
config/zookeeper.properties
  dataDir=/zookeeper
  dataDir=zookeeper
3)启动zookeeper(窗口1)
cd bin\windows
zookeeper-server-start ..\..\config\zookeeper.properties  
zookeeper-server-start ../../config/zookeeper.properties  
4)zookeeper测试(窗口2)
echo stat | nc 192.168.25.42 2181
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>zookeeper-shell.bat 192.168.25.42:2181
注: 这里没有提示符
D:\fk\tech\cloud\zookeeper\zookeeper-3.4.6\bin>zkcli.cmd 192.168.25.42:2181Connecting to localhost:2181
ls /测试ok
5)启动kafka(窗口3)
kafka-server-start.bat ..\..\config\server.properties
6)创建topic(窗口4)
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic mytopic
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-topics.
bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --
topic mytopic
Created topic "mytopic".

7)查看topic(窗口4)
kafka-topics.bat --describe --zookeeper localhost:2181 --topic mytopic
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-topics
bat --describe --zookeeper localhost:2181 --topic mytopic
Topic:mytopic PartitionCount:3 ReplicationFactor:1 Configs:
Topic: mytopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: mytopic Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: mytopic Partition: 2 Leader: 0 Replicas: 0 Isr: 0
8)发布/生产消息窗口(窗口5)
kafka-console-producer.bat --broker-list localhost:9092 --topic mytopic
有一个错误提示,但是不影响(kafa的bugKAFKA-1711,KAFKA-1824,预计0.9修复)
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-consol
-producer.bat --broker-list localhost:9092 --topic mytopic
[2015-09-30 10:06:11,420] WARN Property topic is not valid (kafka.utils.Verifia
leProperties)


9)消费消息窗口(窗口6)
kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic

10)producer窗口输入,可以在consumer窗口输出
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-console
-producer.bat --broker-list localhost:9092 --topic mytopic
[2015-09-30 10:06:11,420] WARN Property topic is not valid (kafka.utils.Verifiab
leProperties)
hello
kafka
error
this is a test msg from producer
中文
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-console
-consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic
hello
kafka
error
this is a test msg from producer
中文


10)znode查看
ls /
[consumers, config, controller, admin, brokers, zookeeper, controller_epoch
ls /consumers
[console-consumer-21728]
ls /config
[topics, changes]
ls /controller
[]
ls /admin
[delete_topics]
ls /brokers
[topics, ids]
ls /zookeeper
[quota]
ls /controller_epoch
[]
11)检查offset(窗口4)
 注意:group为consumerid,需要在zk里面查ls /consumer
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-consume
r-offset-checker.bat --topic mytopic --zookeeper localhost:2181 --broker-info 1
27.0.0.1:9092 --group console-consumer-64061
Group Topic Pid Offset logSize
Lag Owner
console-consumer-64061 mytopic 0 4 4
0 console-consumer-64061_zynb0411-1443580144073-95285fc3
-0
console-consumer-64061 mytopic 1 1 1
0 console-consumer-64061_zynb0411-1443580144073-95285fc3
-0
console-consumer-64061 mytopic 2 1 1
0 console-consumer-64061_zynb0411-1443580144073-95285fc3
-0
BROKER INFO
0 -> zynb0411:9092
 
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>

12)simple-consumer(底层操作) 
指定offset
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-simple-
consumer-shell.bat --topic mytopic --offset 1 --broker-list 127.0.0.1:9092 --pa
rtition 0
error
this is a test msg from producer
中文
分别查看不同的partition
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-simple-
consumer-shell.bat --topic mytopic --offset 0 --broker-list 127.0.0.1:9092 --pa
rtition 0
kafka
error
this is a test msg from producer
中文
终止批处理操作吗(Y/N)? y
 
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-simple-
consumer-shell.bat --topic mytopic --offset 0 --broker-list 127.0.0.1:9092 --pa
rtition 1
go
终止批处理操作吗(Y/N)? y
 
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>kafka-simple-
consumer-shell.bat --topic mytopic --offset 0 --broker-list 127.0.0.1:9092 --pa
rtition 2
hello
终止批处理操作吗(Y/N)? y
 
D:\fk\tech\kafka\kafka_2.10-0.8.2.1\kafka_2.10-0.8.2.1\bin\windows>



<think>好的,用户想要在单机环境下安装Kafka的步骤和配置教程。首先,我需要回忆一下Kafka的基本安装流程。记得Kafka依赖ZooKeeper,不过在单机模式下,Kafka自带了ZooKeeper,不需要额外安装集群,这可能简化步骤。用户之前提到过单机安装的问题,比如配置错误导致连接问题,所以需要特别注意配置文件的设置。 接下来,我应该检查用户提供的引用内容,看看有没有相关的指导。引用2提到ZooKeeper必须用集群模式,但用户现在需要单机,可能Kafka自带的ZooKeeper单例就足够了。引用4和5提到了单机安装中的问题,比如配置IP地址错误导致连接被拒绝,这需要强调配置文件中正确设置advertised.listeners为正确的IP或主机名,避免localhost的问题。 然后,分步骤来写安装过程。首先下载Kafka,解压,然后配置ZooKeeper和Broker。需要修改server.properties中的listeners和advertised.listeners,可能还要设置日志目录。启动时,先启动ZooKeeper,再启动Kafka Broker。验证步骤包括创建Topic、生产者和消费者测试,确保消息正常传递。 用户可能遇到的常见问题比如端口占用、配置错误,尤其是advertised.listeners设置不正确导致外部无法连接,这在引用4中提到了。需要提醒用户检查这里的配置,使用实际IP而不是localhost,特别是当其他服务如Filebeat运行在不同机器时。 最后,生成相关问题,帮助用户深入,比如性能调优、监控工具如Kafka Eagle的安装,以及常见错误的解决方法。确保用户能够顺利安装并解决可能遇到的问题。</think>### 单机环境下 Kafka 安装与配置教程 #### 一、环境准备 1. **系统要求**:Linux/Unix 或 Windows(建议 Linux,如 CentOS/Ubuntu) 2. **依赖组件**:JDK 1.8+(Kafka 基于 Java 开发) 3. **安装下载**: ```bash wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz tar -zxvf kafka_2.13-3.6.1.tgz ``` #### 二、配置 ZooKeeper(单机模式) Kafka 依赖 ZooKeeper 管理元数据,单机环境下可直接使用 Kafka 内置的 ZooKeeper: 1. **修改配置文件** `config/zookeeper.properties`: ```properties dataDir=/tmp/zookeeper # ZooKeeper 数据存储路径 clientPort=2181 # 客户端连接端口 maxClientCnxns=100 # 最大连接数 ``` #### 三、配置 Kafka Broker 1. **修改配置文件** `config/server.properties`: ```properties broker.id=0 # 单机环境设为 0 listeners=PLAINTEXT://0.0.0.0:9092 # 监听地址和端口 advertised.listeners=PLAINTEXT://[服务器IP]:9092 # 必须设置为实际 IP(避免 Filebeat 连接问题)[^4] log.dirs=/tmp/kafka-logs # Kafka 数据存储路径 zookeeper.connect=localhost:2181 # ZooKeeper 地址 num.partitions=1 # 单机默认分区数 ``` #### 四、启动服务 1. **启动 ZooKeeper**: ```bash bin/zookeeper-server-start.sh -daemon config/zookeeper.properties ``` 2. **启动 Kafka Broker**: ```bash bin/kafka-server-start.sh -daemon config/server.properties ``` #### 五、验证安装 1. **创建测试 Topic**: ```bash bin/kafka-topics.sh --bootstrap-server [服务器IP]:9092 --create --topic test --partitions 1 --replication-factor 1 ``` 2. **生产消息**: ```bash bin/kafka-console-producer.sh --bootstrap-server [服务器IP]:9092 --topic test ``` 3. **消费消息**: ```bash bin/kafka-console-consumer.sh --bootstrap-server [服务器IP]:9092 --topic test --from-beginning ``` #### 六、常见问题解决 1. **连接被拒绝**:确保 `advertised.listeners` 配置为实际 IP(非 `localhost`),避免其他服务无法访问[^4] 2. **端口冲突**:检查 `9092`(Kafka)和 `2181`(ZooKeeper)端口占用情况 3. **数据清理**:定期清理 `/tmp/kafka-logs` 和 `/tmp/zookeeper` 避免磁盘占满
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值