Kafka集群部署文档

Kafka集群部署文档

1.      安装环境：centos，jdk8，安装好的zk环境，三台相同的机器作为节点

2.      安装包下载：http://kafka.apache.org/downloads.html(注意下载版本为 0.11.0.x)

3.      解压：将下载好的Kafka安装包解压到/export/servers 目录下(没有此目录可手动创建)

tar -zxvf kafka_2.11-0.11.0.0.tgz

4.      修改kafka配置文件：

l  进入kafka目录下的config目录：

l  Kafka的zk我们之前zookeeper安装教程中已经装好，直接修改server.properties

vi server.properties

server.properties配置文件的修改主要在开头和结尾，中间保持默认配置即可；需要注意的点是broker.id的值三个节点要配置不同的值，分别配置为1，2，3；log.dirs必须保证目录存在，不会根据配置文件自动生成；

以下是比较重要的几项配置：

broker.id = 1    (三个节点配成不同的1,2,3)

listeners=PLAINTEXT://192.168.0.1:9092    (本机ip)

host.name=192.168.0.1    (本机ip)

log.dirs=/export/servers/kafka-logs

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181 (之前安装的三个zk节点)

group.initial.rebalance.delay.ms=10000

5.      Kafka的启动：

l  在bin目录下创建一个名为start.sh的启动脚本:

vi start.sh

l  填入内容：

#!/bin/sh

whichjava

if[ $? -eq 0 ]

then

    echo "Find java"

else

    echo "No java, please install javafirstly !!!"

    exit 1

fi

 

kafka_dir="/export/servers/kafka_2.11-0.11.0.0"

kafka_logs_path="$kafka_dir/logs/1"

KAFKA_HEAP_OPTS="-Xmx4G–Xms4G"

 

JMX_PORT="9999"KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote 

KAFKA_HEAP_OPTS="$KAFKA_HEAP_OPTS"

-Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false

-Djava.rmi.server.hostname=192.168.0.1"

LOG_DIR="$kafka_logs_path"

$kafka_dir/bin/kafka-server-start.sh-daemon $kafka_dir/config/server.properties &

 

然后保存退出 !wq

l  执行权限授权

chmod +x start.sh

l  启动kafka

./start.sh

附1：kafka操作常用指令

l  创建kafka topic：

bin/kafka-topics.sh --zookeeper node01:2181,node02:2181, node03:2181 --create --topic topic_name --partitions 30  --replication-factor 2

注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数

l  查看所有topic列表：

bin/kafka-topics.sh --zookeeper node01:2181,node02:2181, node03:2181 –list

l  查看指定topic信息：

bin/kafka-topics.sh --zookeeper node01:2181,node02:2181, node03:2181 --describe --topic topic_name

l  删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除：

bin/kafka-run-class.shkafka.admin.DeleteTopicCommand --zookeeper node01:2181, node02:2181,node03:2181 --topic topic_name

附2：Kafka 的监控操作工具--- kafka-manager

l  下载kafka-manager的安装包，解压节点192.168.0.1的 /export/servers/目录下

l  进入kafka-manager目录，修改conf文件夹下的application.conf

主要修改条目：

kafka-manager.zkhosts="192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181”

(填写与kafka所用相同的zk地址)

l  启动kafka-manager：

进入bin目录后，执行nohup./kafka-manager &

l  浏览器输入：192.168.0.1:9000即可查看到kafka-manager监控程序

l  首次进入kafka-manager需配置你的kafka集群

第一步：点击 Add Cluster

第二步：填写必要的几个配置项，主要是zk地址和kafka的版本号要填写正确

第三步：点击保存即可查看你的kafka集群状况