Kafka 0.10.0版本对加入了 Kafka Streams 流处理系统,本文主要总结了Kafka 0.10在集群搭建、高可用性、新API方面的相关过程和细节
Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器,官方推荐使用 7u51以上版本的JRE。如果你使用老版本的JRE,需要更改Kafka的启动脚本,指定G1以外的垃圾回收器。
Java环境的安装过程在此不赘述了。
2, Zookeeper集群搭建
Kafka依赖Zookeeper管理自身集群(Broker、Offset、Producer、Consumer等),所以先要安装 Zookeeper。自然,为了达到高可用的目的,Zookeeper自身也不能是单点,接下来就介绍如何搭建一个最小的Zookeeper集群(3个 zk节点)
此处选用Zookeeper的版本是3.4.8
3, Kafka集群搭建
此例中,我们会安装配置一个有两