【Kafka之轨迹】Kafka 入门使用

---

0. 前言

本博客使用的版本是 0.11.0.3
各版本的区别可以自行了解，大致可选 0.11.x 1.x 2.x 三种版本

① 使用的集群是 Docker 搭建的，可参见：
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）

② 由于 Docker 搭建的集群有局限性，需要频繁为 Docker 容器动态添加端口映射（下边也会用到），可参见：
【Docker之轨迹】为正在运行中的容器动态添加端口映射（使用 iptables，附删除 iptables 规则）

③ 集群之间的分发脚本 xsync 参照尚硅谷，可参见：
【Linux之轨迹】Linux 各种实用小功能合集（持续补充）

④ 该版本的 kafka 需要用到 zookeeper，简单的搭建流程可参见：
【Zookeeper之轨迹】Zookeeper 入门使用（集群使用 Docker 模拟）

⑤ 由于 Kafka 需要占用较多内存，必要的话需要使用 swap 交换分区（相当于虚拟内存），可参见：
【Linux之轨迹】1核2G 内存不够怎么办？Swap 交换分区解决内存不足问题

---

1. 安装、启动与关闭

① 下载与配置

下载地址：http://kafka.apache.org/downloads

上传压缩包到服务器集群任意一台，解压，然后使用 xsync 分发到集群中的各个容器，再

tar -zxvf kafka_2.11-0.11.0.3.tgz
xsync kafka_2.11-0.11.0.3
rm -rf kafka_2.11-0.11.0.3.tgz

# 这一步改名可选
mv kafka_2.11-0.11.0.3 kafka_0.11.0.3

然后进行配置

1)	在 kafka_0.11.0.3 目录下新建文件夹 data 作为临时存放数据的文件夹
	mkdir data

2)	然后进入 config 目录修改 server.properties 文件
	vim server.properties

下面是对配置文件的修改

1)	首先修改 broker.id，每台服务器需要唯一，下边是我的配置
   `hadoop001：broker.id=1
	hadoop002：broker.id=2
	hadoop003：broker.id=3`

2)	接着设置主题允许被删除（将注释打开）
   `delete.topic.enable=true`

3)	修改数据暂存的目录，默认存放在 tmp 中会被定时删除，需修改为我们刚刚新建的 data 文件夹路径
	名字看着像日志文件输出的地方，但实际存放的是真实数据的
   `log.dirs=/xxx/kafka_0.11.0.3/data`

4)	修改 zookeeper 连接信息，以下是我的配置供参考（用逗号隔开）
   `zookeeper.connect=hadoop001:2181,hadoop002:2181,hadoop003:2181`

5)	然后将配置文件分发到各台服务器上（data 文件夹也顺带分发了）
   `xsync data/ config/server.properties`

6)	最后修改每一台服务器的 broker.id，就完事了

② 启动与关闭

首先确保三台服务器的 zookeeper 都已经启动，然后执行：

bin/kafka-server-start.sh config/server.properties

》》》 出现问题 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; eory' (errno=12) 原因是内存不足，查了我的服务器，发现 2G 内存剩下不到 1G 然后在 kafka-server-start.sh 中发现了这个东西 参数意思为： -Xmx Java Heap 最大值，默认值为物理内存的 1/4 -Xms java Heap 初始值，Server 端 JVM 最好将 -Xms 和 -Xmx 设为相同值 里边要求 Kafka 启动是必须有 1G 空闲的内存 很明显我没有，况且 2G 内存要启动 3 台显然也不合理 所以这里我们把它改小一点，就 256M 应该可以，修改： 1) vim bin/kafka-server-start.sh    修改为：export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M" 2) 分发到各台服务器    xsync bin//kafka-server-start.sh 再次启动，就可以了（后边填坑：分发完毕后，记得将 broker.id 修改呀） 此外，如果内存实在不足，可以考虑使用 swap 交换分区作为虚拟内存使用 《《《 问