在Linux系统上通过zookeeper集群部署kafka集群

zookeeper集群搭建地址：https://blog.youkuaiyun.com/SpringCYB/article/details/89951158

Kafka基本架构：

• 它的架构包括以下组件：
• Broker 服务代理 
  Kafka集群包含一个或多个服务器，这种服务器被称为broker
• Topic  话题
  每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）
• Partition  分片
  parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件
• Producer 生产者
  负责发布消息到Kafka broker
• Consumer  消费者
  消费消息。每个consumer属于一个特定的consuer group（可为每个consumer指定group name，若不指定group name则属于默认的group）。使用consumer high level API时，同一topic的一条消息只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一消息。

Kafka使用zk的分布式协调服务，将生产者，消费者，消息储存（broker，用于存储信息，消息读写等）结合在一起。同时借助zk，kafka能够将生产者，消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系，实现生产者的负载均衡。kafka搭载zk，通常有3种模式：

1. 单机模式，只安装部署一个server。

2. 伪分布式集群模式，一台机器分别安装部署3个zk和kafka节点server。

3. 分布式集群模式，3台以上机器（以3台为例），3台机器上分别安装部署3个zk和kafka节点server。

本文仅以第二种：伪分布式集群模式讲解，安装部署为分布式集群的详细步骤。

环境和版本：

• linux(centos7_64位)+vm15pro
• Jdk 1.8
• Zookeeper-3.4.6
• Kafka-2.12

搭建开始：

1.通过ssh工具将安装包上传至linux服务器

当前目录在  /usr/kafka

通过tar 命令解压缩：

为了操作方便，重命名为kafka

2.在 /usr/kafka 目录下创建三个文件夹  用来存放日志文件

mkdir kafka-logs1

mkdir kafka-logs2

mkdir kafka-logs3

3.修改配置文件

进入解压出来的kafka中，进入config目录，通过vi打开server.properties，修改以下参数

:wq! 命令保存。

然后将server.properties 复制成三份，分别为server1.properties，server2.properties，server3.properties，

先通过 mv server.properties server2.properties 命令重命名。

然后通过 cp server2.properties server3.properties  和 cp server2.properties server1.properties 命令复制两份

然后修改配置信息

修改server2.properties如下：

broker.id=1

listeners=PLAINTEXT:// 192.168.***.***:9093此ip地址为本机ip

port=9093

log.dirs=/usr/kafka/kafka-logs2

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

 

修改server3.properties如下：

broker.id=2

listeners=PLAINTEXT:// 192.168.***.***:9094 此ip地址为本机ip

port=9094

log.dirs=/usr/kafka/kafka-logs3

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

3.kafka集群配置完毕，启动Kafka集群并测试

注意：

（1）首先要保证zookeeper集群已启动

（2）从后台启动Kafka集群（3台都需要启动）

（3）进入到kafka的根目录 cd /usr/kafka/kafka

模拟启动三个配置文件,代表三台服务器.

./bin/kafka-server-start.sh config/server1.properties

./bin/kafka-server-start.sh config/server2.properties

./bin/kafka-server-start.sh config/server3.properties

如果报错需要修改kafka的堆内存分配

进入kafka 的bin目录下

vi kafka-server-start.sh

默认是1G我们修改为256M，和128M

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

然后，在启动，三台全部启动，如出现下图，stated则表示启动成功！

4.测试kafka

创建主题:

创建一个test主题，分区数为3,备份数为3

在kafka根目录执行下面命令

bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 3 --topic test

如出现下图  Created topic test.  则表示创建成功

5.启动生产者:

kafka根目录执行，启动一个生产者

bin/kafka-console-producer.sh --broker-list 127.0.0.1（此ip地址为本机ip）:9092 --topic test

出现 > 输入符 则表示成功，此时端口号9092为生产者

6.启动消费者

不要关闭生产者窗口，再打开一个新窗口，进入到kafka根目录，启动消费者:

bin/kafka-console-consumer.sh --bootstrap-server  127.0.0.1（此ip地址为本机ip）：9093  (消费者端口号) --topic test --from-beginning

7.验证：

在生产者输入信息：

消费者可以接收到

搭建完成！

1）查看当前所有的topic列表

bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

2）看下topic的详情信息

查看所有topic：

bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181

查看指定topic：

bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test