本文以部署三台kafka broker 为例讲解, kafka版本为 kafka_2.9.2-0.8.1.1, 运行环境为centos,jdk版本为1.7以上,kafka依赖zookeeper, 部署之前部署好zookeeper集群。
1. 获取kafka
在kafka下载页面 http://kafka.apache.org/downloads.html 中,选择需要的版本下载,不同的大版本号下有多个分支版本,
选择推荐版本下载, 这里选择下载kafka_2.9.2-0.8.1.1版本。
2. 系统配置
把下载好的kafka在规划好的安装目录下解压, tar -xavf kafka_2.9.2-0.8.1.1.tgz, 进入config 目录,对其中的配置文件进行修改。
kafka broker 运行时全局相关的属性在server.properties中配置:
broker.id 从0开始,将第一台kafka的id配置为broker.id=0,其他两台依次为1, 2
port 是kafka对外提供的接口通信端口, 默认为9092即可
host.name 为运行主机的hostname,设为hostname或IP地址都可以
num.partitions 为消息的分区数, kafka中的消息是分布式存储的, 三台server 设为num.partitions=3,当然可以设的更大
default.replication.factor 为消息文件的副本数,提高系统的容错性,不设置时默认为1,不可大于broker节点数,本例中可设置为2或者3.
log.dirs 消息文件的根目录, 将其改为规划好的目录
zookeeper.connect 依赖的zk集群地址,设置为已部署好的zookeeper集群地址
以上是主要的配置,其他配置用默认值
依次将三台kafka的server.properties文件修改
3. 启动运行
在kafka的主目录下执行命令,以后台服务启动kafka
bin/kafka-server-start.sh-daemon config/server.properties