kafka环境搭建

1.准备

• kafka下载地址:
  http://kafka.apache.org/downloads
• zooker下载地址:
  https://zookeeper.apache.org/
• kafka监控（kafka-manager）：
  http://pan.baidu.com/s/1kTtFpGV
  或者https://pan.baidu.com/share/link?shareid=2842047201&uk=2318654824

2.目录结构

• u01/app/kafka(版本号)
• u01/app/zookeeper(版本号)
• u01/app/monitor

2.安装zookeeper

• 进入到解压好的zookeeper目录里面的conf目录中
  

  cd u01/app/zookeeper(版本号)/conf

• 复制一份zoo_sample.cfg 取名zoo.cfg
  cp zoo_sample.cfg zoo.cfg
• 修改参数

dataDir=/u01/app/zookeeper/zkdata
dataLogDir=/u01/app/zookeeper/zkdatalog
clientPort=4101
server.1=192.168.1.1:4201:4301
server.2=192.168.1.2:4201:4301
server.3=192.168.1.3:4201:4301

参数解释：
server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
192.168.7.107为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

• 创建myid文件
  在不同的服务器上创建myid文件，并写入相应的序号

#server1
echo "1" > /u01/zookeeper/zkdata/myid
#server2
echo "2" > /u01/zookeeper/zkdata/myid
#server3
echo "3" > /u01/zookeeper/zkdata/myid

• 启动zookeeper
  
  1. 切换到目录
     cd /u01/app/zookeeper/zookeeper-3.4.6/bin/
  2. 执行启动命令
     ./zkServer.sh start
  3. 查看状态
     ./zkServer.sh status
  4. 关闭
     ./zkServer.sh stop

3.安装kafka

• 修改配置文件

broker.id=1
port=4401
listeners=PLAINTEXT://172.20.1.27:4401
advertised.listeners=PLAINTEXT://172.20.1.27:4401
num.partitions=10
log.dirs=/u01/app/kafka_2.10-0.10.1.1/kafka-logs
zookeeper.connect=192.168.1.1:4101,192.168.1.2:4101,192.168.1.3:4101
host.name=192.168.1.1

• 启动

切换到目录
cd /u01/app/kafka_2.10-0.10.1.1
启动
nohup bin/kafka-server-start.sh config/server.properties &
关闭
bin/kafka-server-start.sh stop

4.安装监控

略