Kafka(2.13-3.1.0)集群安装部署

原创已于 2022-03-21 23:16:42 修改 · 4.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Linux #kafka

于 2022-03-21 22:47:44 首次发布

技术文档专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了Kafka的安装步骤，包括从清华源下载、配置、启动，以及Zookeeper集群的依赖。强调了Kafka配置中的关键参数，并提供了创建与测试Topic的命令。此外，还解释了Kafka的核心概念，如Topic、Partitions和Replication Factor，以及如何进行消息的生产和消费。

Kafka简介

Kafka是分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
Kafka与传统消息系统相比，有以下不同：
①被设计为一个分布式系统，易于向外扩展；
②同时为发布和订阅提供高吞吐量；
③支持多订阅者，当失败时能自动平衡消费者；
④将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

前言

Kafka部署需要首先搭建Zookeeper集群，Zookeeper集群部署可参考如下文章：

https://blog.youkuaiyun.com/weixin_41212819/article/details/123605631

二、kafka(2.13-3.1.0)安装

1.Kafka下载

清华源：
https://mirrors.bfsu.edu.cn/apache/kafka/3.1.0/

解压
tar -xzvf kafka_2.13-3.1.0.tgz
重命名
mv kafka_2.13-3.1.0/ kafka

2.Kafka配置

进入配置文件目录
cd kafka/config/
备份配置文件
 cp server.properties server.properties_bak

vim server.properties

主要修改如下参数，其他如无特殊需求可保持默认

broker.id=0 #整个集群内唯一id号，标识，一般从0开始
log.dirs=/soft/kafka/logs #kafka存储数据的目录
zookeeper.connect=host:port ##zookeeper集群地址和端口，逗号分隔。单机部署可默认

如需修改默认端口需要修改server.properties、producer.properties、consumer.properties、connect-standalone.properties、connect-distributed.properties多个配置文件中端口号。

2.Kafka启动

进入目录
cd /soft/kafka/bin/
# 启动kafka
./kafka-server-start.sh -daemon ../config/server.properties或
./kafka-server-start.sh ../config/server.properties &

集群中其他服务器kafka可按以上配置，修改配置文件server.properties 中 broker.id并启动。

kafka启动过程中可能会报链接zk超时：
1）测试是否能和集群中的其它zooKeeper节点端口通讯
2）测试是否能和集群中的其它节点Kafka端口通讯
3）查看防火墙端口放行状态，建议关闭
4）关闭SELINUX
5）查看/etc/hosts配置

3.Kafka消息测试

创建topic
./kafka-topics.sh --bootstrap-server 192.168.231.130:9092,192.168.231.131:9092,192.168.231.132:9092 --create --topic testa --partitions 3 --replication-factor 3

发送消息
./kafka-console-producer.sh --broker-list 192.168.231.132:9092 --topic testa

消费消息
 ./kafka-console-consumer.sh --bootstrap-server 192.168.231.131:9092  --topic testa --from-beginning

发送
在这里插入图片描述

消费在这里插入图片描述

部分参数解释
Topic：每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic 的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上，但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处）。

replication-factor ：复制数目，提供failover机制；1代表只在一个broker上有数据记录，一般值都大于1，代表一份数据会自动同步到其他的多个broker，防止某个broker宕机后数据丢失。

partitions ：一个topic可以被切分成多个partitions，一个消费者可以消费多个partitions，但一个partitions只能被一个消费者消费，所以增加partitions可以增加消费者的吞吐量。kafka只保证一个partitions内的消息是有序的，多个一个partitions之间的数据是无序的。

Producer：负责发布消息到 Kafka broker。

Consumer：消息消费者，向 Kafka broker 读取消息的客户端。

Consumer Group：每个 Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定 group name，若不指定 group name 则属于默认的 group）。

Kafka中broker-list,bootstrap-server以及zookeeper解释可参考如下文章：
https://blog.youkuaiyun.com/pony_maggie/article/details/95862515

docker中部署kafka内外网分流参考如下文章：
https://www.cnblogs.com/xuliang666/p/11871389.html