Kafka集群部署及基本操作

安装包下载：http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz

http://kafka.apache.org/ 

http://kafka.apachecn.org/

（已经安装好了zookeeper集群）

1、上传安装包解压

2、修改Kafka server.properties的配置连接zookeeper集群

修改broker.id、listeners、zookeeper.connet

broker.id必须保证不重复，zookeeper为集群地址

配置修改完成，启动服务

3、 sh kafka-server-start.sh -daemon ../config/server.properties

日志文件

启动遇到问题：原因：broker.id重复，listeners配置错误

java.lang.IllegalArgumentException: Error creating broker listeners from '192.168.179.112://:9092': No security protocol defined for listener 192.168.179.112

Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties

原因：tmp/kafka-logs/meta.properties和server.properties的broker.id不一致

 Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory.

解决办法：删除目录tmp/kafka-logs或者修改server.properties中的log.dirs地址

启动成功

查看zookeeper

Kafka启动时在zookeeper上注册的节点信息

cluster, controller, controller_epoch, brokers, zookeeper, admin, isr_change_notification, consumers, latest_producer_id_block, config

 

controller – 控制节点

brokers  – kafka集群的broker信息 。

consumer 

基本操作

kafka-console-consumer.sh创建消费者

kafka-console-producer.sh创建生产者

 

创建一个topic：> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

当前topic列表

启动一个producer发送一条消息topic：

启动一个consumer，接收一条消息

 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Mytopic

 

Partitions 1 ：表示创建1个分区，个数没有限制。在每台机器的/tmp/kafka-logs中可以看到Mytopic-0

replication-factor 1：表示的是高可靠性副本数，默认情况下是1，交叉备份

sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic test33

多个分区，服务器间交叉备份，备份副本的好处是当一台机器宕机后消息并不会完全丢失