本文档详细介绍了如何在spark001、spark002、spark003三台机器上安装并启动Kafka，使用的是kafka_2.10-0.8.2.1版本。首先配置server.properties文件，设置broker.id、port、log.dirs等参数，然后启动Zookeeper，接着启动Kafka服务。最后，通过kafka-topics.sh命令创建、描述、列出和删除主题，并演示了使用console-consumer和console-producer进行消息消费和生产。
在spark001、spark002、spark003三台机器上。
版本：kafka_2.10-0.8.2.1.zip
启动命令：
nohup bin/kafka-server-start.sh start.sh config/server.properties > kafka.log 2>&1 &
在spark001上：
vim server.properties
```
broker.id=0
port=9092
#里面存放的其实就是kafka数据
log.dirs=/kafka-logs
num.partitions=1 #topic的partition数量
log.retention.hours=168 #7天
zookeeper.connect=spark001:2191,spark002:2181,spark003:2181
```
分发配置文件。
每台机器上启动Zookeeper:
./bin/zkServer.sh start
每台机器上启动kafka：
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
# jps
Jps
QuorumPeerMain
Kafka
./bin/kafka-topic.sh --zookeeper spark001:2181,spark002:2181,spark003:2181 --list
./bin/kafka-topic.sh --zookeeper spark001:2181,spark002:2181,spark003:2181 --describe
./bin/kafka-topic.sh --zookeeper spark001:2181,spark002:2181,spark003:2181 --create --topic 20170920 --partitions 3 --replication-factor 2
./bin/kafka-topic.sh
--zookeeper spark001:2181,spark002:2181,spark003:2181 --describe --topic 20170920
./bin/kafka-topic.sh --zookeeper spark001:2181,spark002:2181,spark003:2181 --delete --topic 20170920
./bin/kafka-console-consumer.sh --zookeeper spark001:2181,spark002:2181,spark003:2181 --topic 20170920
./bin/kafka-console-producer.sh --broker-list spark001:9092,spark002:9092,spark003:9092 --topic 20170920
扫一扫
2705
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
