kafka消息队列

原创 于 2025-09-22 21:23:33 发布 · 993 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #分布式

1、Kafka简介

Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么`Kafka`也就拥有消息队列的相应的特性了

1.1 Kafka消费模式

Kafka的消费模式主要有两种：一种是一对一的消费，也即点对点的通信，即一个发送一个接收。第二种为一对多的消费，即一个消息发送到消息队列，消费者根据消息队列的订阅拉取消息消费。

一对一

消息生产者发布消息到Queue队列中，通知消费者从队列中拉取消息进行消费。消息被消费之后则删除，Queue支持多个消费者，但对于一条消息而言，只有一个消费者可以消费，即一条消息只能被一个消费者消费。

一对多

这种模式也称为发布/订阅模式，即利用Topic存储消息，消息生产者将消息发布到Topic中，同时有多个消费者订阅此topic，消费者可以从中消费消息，注意发布到Topic中的消息会被多个消费者消费，消费者消费数据之后，数据不会被清除，Kafka会默认保留一段时间，然后再删除

1.2 Kafka的基础架构

Kafka像其他Mq一样，也有自己的基础架构，主要存在生产者Producer、Kafka集群Broker、消费者Consumer、注册消息[Zookeeper]

Producer：消息生产者，向Kafka中发布消息的角色。
Consumer：消息消费者，即从Kafka中拉取消息消费的客户端。
Consumer Group：消费者组，消费者组则是一组中存在多个消费者，消费者消费Broker中当前Topic的不同分区中的消息，消费者组之间互不影响，所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。**某一个分区中的消息只能够一个消费者组中的一个消费者所消费**
Broker：经纪人，一台Kafka服务器就是一个Broker，一个集群由多个Broker组成，一个Broker可以容纳多个Topic。
Topic：主题，可以理解为一个队列，生产者和消费者都是面向一个Topic
Partition：分区，为了实现扩展性，一个非常大的Topic可以分布到多个Broker上，一个Topic可以分为多个Partition，每个Partition是一个有序的队列(分区有序，不能保证全局有序)
Replica：副本Replication，为保证集群中某个节点发生故障，节点上的Partition数据不丢失，Kafka可以正常的工作，Kafka提供了副本机制，一个Topic的每个分区有若干个副本，一个Leader和多个Follower
Leader：每个分区多个副本的主角色，生产者发送数据的对象，以及消费者消费数据的对象都是Leader。
Follower：每个分区多个副本的从角色，实时的从Leader中同步数据，保持和Leader数据的同步，Leader发生故障的时候，某个Follower会成为新的Leader

1.3 Kafka的安装和使用（openEuler）

准备

安装docker

##添加仓库

dnf config-manager --add-repo=https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo

sed -i 's+download.docker.com+repo.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo

sed -i 's+\$releasever+8+' /etc/yum.repos.d/docker-ce.repo

dnf install -y docker-ce docker-ce-cli containerd.io

添加国内加速镜像

{
  "registry-mirrors": [
    "https://0vmzi3q6.mirror.aliyuncs.com",
    "https://docker.m.daocloud.io",
    "https://mirror.baidubce.com",
    "https://dockerproxy.com",
    "https://mirror.iscas.ac.cn",
    "https://huecker.io",
    "https://dockerhub.timeweb.cloud",
    "https://nohub.ru",
    "https://v1qgh0kqj.mirror.aliyuncs.com"
  ]
}

启动docker服务

下载镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

启动zookeeper容器

首先需要启动zookeeper，如果不先启动，启动kafka没有地方注册消息

docker run -it --name zookeeper -p 12181:2181 -d wurstmeister/zookeeper:latest
启动失败

存在文件描述符（file descriptor）相关的限制问题，导致即使分配了较多内存，导致容器无法正常启动

解决

启动容器时，可以通过 --ulimit 参数来设置容器内的文件描述符限制

docker run -it --name zookeeper -p 12181:2181 --ulimit nofile=1024:1024 -d wurstmeister/zookeeper:latest

启动kafka容器

启动kafka容器，注意需要启动三台,注意端口的映射，都是映射到9092；区分id

# 第一台
docker run -it --name kafka01 -p 19092:9092 -d -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.51:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.51:19092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest
# 第二台
docker run -it --name kafka02 -p 19093:9092 -d -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.51:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.51:19093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest
# 第三台
docker run -it --name kafka03 -p 19094:9092 -d -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.51:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.51:19094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest

环境变量解析（-e 参数，Kafka 核心配置）

  1. KAFKA_BROKER_ID=0（1/2）

    • 每个 Kafka 节点（broker）的唯一标识 ID，必须是整数且在集群中唯一。
    • 示例中三个节点分别设置为 0、1、2，用于区分不同节点。

  2. KAFKA_ZOOKEEPER_CONNECT=192.168.11.51:12181

    • 指定 Kafka 连接的 Zookeeper 地址，格式为 Zookeeper 服务器 IP:端口。
    • 这里连接的是 IP 为 192.168.11.51、端口为 12181 的 Zookeeper 服务
    • Kafka 依赖 Zookeeper 管理集群元数据（如主题、分区、节点信息等），所有节点必须连接到同一个 Zookeeper。

  3. KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.51:19092（19093/19094）

    • 核心配置：指定 Kafka 对外暴露的连接地址，客户端（生产者 / 消费者）会通过此地址连接 Kafka。
    • PLAINTEXT 表示无加密的通信协议（生产环境需要 SSL 等加密协议）。
    • 192.168.11.51 是宿主机的 IP 地址（Kafka 容器所在服务器的 IP）。
    • 端口 19092/19093/19094 对应宿主机映射的端口（与 -p 参数的宿主机端口一致）。
    • 若此配置错误，客户端会无法连接 Kafka。

  4. KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

    • 指定 Kafka 在容器内监听的地址和端口，用于接收客户端的连接请求。
    • 0.0.0.0 表示监听容器内所有可用的网络接口（允许来自任意 IP 的连接）。
    • 9092 是容器内的端口（与 -p 参数的容器内端口一致）

1.4 命令使用

zookeeper

cd /opt/zookeeper-3.4.13/bin/
./zkCli.sh -server 127.0.0.1:2181
./zkCli.sh -server 192.168.11.51:12181
##在 zookeeper容器中使用

通过 zkCli.sh 脚本（Zookeeper Command Line interface）连接到指定的 Zookeeper 服务，进入交互式命令行环境，从而可以执行各种 Zookeeper 操作

kafka

cd /opt/kafka/bin/
./kafka-topics.sh --zookeeper 192.168.11.50:12181 --create --topic wezzer --replication-factor 1 --partitions 3

 Kafka 集群中生成一个名为 wezzer 的主题，其特性如下：

  1. 数据被拆分为 3 个分区，可分散存储在集群的不同 Broker 上（若集群有多个节点）。
  2. 每个分区只有 1 个副本，仅存于 1 个 Broker 中（无冗余，适合测试环境；生产环境建议设为 2~3）。
  3. 主题的元数据（分区数、副本分布、名称等）会被写入 192.168.10.51:12181 对应的 Zookeeper 服务中

每个kafka集群都会生成

结果分析 

Topic: wezzer   TopicId: 72plbBfsTfC-ngF9fvBnLA PartitionCount: 3       ReplicationFactor: 1    Configs:
  • Topic: wezzer：主题名称为 wezzer。
  • TopicId: 72plbBfsTfC-ngF9fvBnLA：该主题在 Kafka 中的唯一标识符（由 Kafka 自动生成，用于内部管理）。
  • PartitionCount: 3：该主题被划分为 3 个分区（Partition），分区是 Kafka 实现并行读写、数据分片存储的核心单元。
  • ReplicationFactor: 1：每个分区的副本因子为 1，即每个分区只有 1 个副本（仅存于 1 个 Broker 节点上，生产环境一般会设为 2 或 3 以保证高可用，这里是测试环境）。
  • Configs:：主题的配置项，这里没有显示具体配置（说明使用了 Kafka 默认的主题配置）
分区 0 的信息
Topic: wezzer   Partition: 0    Leader: 2       Replicas: 2     Isr: 2
  • Partition: 0：主题的第 0 个分区。
  • Leader: 2：该分区的 Leader 副本 所在的 Broker ID 为 2。Leader 副本是客户端（生产者 / 消费者）直接交互的副本，负责处理读写请求，并同步数据到其他副本（Follower）。
  • Replicas: 2：该分区的所有副本所在的 Broker ID 列表为 [2]（因为副本因子为 1，所以只有 1 个副本）。
  • Isr: 2：该分区的 同步副本集（In-Sync Replicas） 为 [2]。ISR 中的副本是与 Leader 保持同步的副本，只有 ISR 中的副本才能在 Leader 故障时被选举为新的 Leader。这里只有 1 个副本且处于同步状态，符合副本因子为 1 的情况。
分区 1 的信息
Topic: wezzer   Partition: 1    Leader: 0       Replicas: 0     Isr: 0
  • Partition: 1：主题的第 1 个分区。
  • Leader: 0：该分区的 Leader 副本所在的 Broker ID 为 0。
  • Replicas: 0：该分区的所有副本所在的 Broker ID 列表为 [0]。
  • Isr: 0：该分区的同步副本集为 [0]，即 Broker 0 上的副本与 Leader（自身）保持同步。
分区 2 的信息
Topic: wezzer   Partition: 2    Leader: 1       Replicas: 1     Isr: 1
  • Partition: 2：主题的第 2 个分区。
  • Leader: 1：该分区的 Leader 副本所在的 Broker ID 为 1。
  • Replicas: 1：该分区的所有副本所在的 Broker ID 列表为 [1]。
  • Isr: 1：该分区的同步副本集为 [1]，即 Broker 1 上的副本与 Leader（自身）保持同步。
总结
  • 主题 wezzer 有 3 个分区，每个分区的副本因子为 1（无冗余，适合测试）。
  • 3 个分区的 Leader 分别分布在 Broker 2、Broker 0、Broker 1 上，实现了负载均衡（Kafka 会尽量将不同分区的 Leader 分散到不同 Broker，提升集群吞吐量）。
  • 所有分区的 ISR 都包含自身（因为只有 1 个副本），说明副本同步状态正常。

写入数据  

./kafka-console-producer.sh --broker-list 192.168.10.51:19092,192.168.10.51:19093,192.168.10.51:19094 --topic wezzer

启动一个命令行生产者，用于向 Kafka 集群的 wezzer主题 发送消息

查询 

删除 topic

./kafka-topics.sh --zookeeper 192.168.11.51:12181 --delete --topic wezzer

现在只是被标记为删除marked for deletion并没有真正的删除，如果需要真正的删除，需要再config/server.properties中设置delete.topic.enable=true

Wezzer
关注
Kafka之【生产消息】
苟且。的博客
05-24 1591
kafka生产消息相关的所有内容：包括生产者的组成和原理，拦截器，分区器，同步异步、ACK、数据重复、数据乱序、幂等、事务等
【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列
技术分享博客，工作经验，技能学习分享（多做一些不会的，会有意向不到的收获，IT高手不可能永远只做会的）
01-05 1917
【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列
Kafka消息系统
L2111533547的博客
08-24 1100
Kafka — 高并发、高可用、高性能 高可用：多副本机制 高并发：网络架构设计 三层架构：多selector -> 多线程 -> 队列的设计（NIO） 高性能：写数据：把数据先写入到OS Cache写到磁盘上面是顺序写，性能很高读数据：根据稀疏索引，快速定位到要消费的数据零拷贝机制 减少数据的拷贝 减少了应用程序与操作系统上下文切换KafkaManager — 页面管理工具分区：1、没有设置key我们的消息就会被轮训的发送到不同的分区。2、设置了key。
Kafka消息队列
YUNYINGXIA的博客
06-04 1503
消息是在应用间传送的数据，其形式多样，既可以是简单的文本字符串，也可以是包含嵌入对象的复杂数据。消息队列是一种应用间的通信方式，具有独特的工作模式：消息发送后，发送者可立即获得返回，而消息的可靠传递由消息系统负责。消息发布者只需将消息发布到消息队列（MQ）中，无需关注谁来获取；消息使用者只需从 MQ 中获取消息，不必在意消息的发布者。这种方式使得发布者和使用者彼此解耦，无需知晓对方的存在。
Zookeeper集群+Kafka集群+ELK
下雨天的放羊娃的博客
07-20 1675
目录一.Zookeeper 概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景6.Zookeeper选举机制二.部署Zookeeper集群1.环境准备2.安装准备2.安装Zookeeper3.启动 Zookeeper 一.Zookeeper 概述 1.Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 2.Zookeeper工作机制 Zookeeper
kafka消息细节
qq_49723651的博客
10-30 500
文章目录kafka消息细节消息的储存单播消息多播消息两者区别 kafka消息细节 消息的储存 ⽣产者将消息发送给broker，broker会将消息保存在本地的⽇志⽂件中。 消息的保存是有序的，通过offset偏移量来描述消息的有序性。 消费者消费消息时也是通过offset来描述当前要消费的那条消息的位置。 单播消息 在⼀个kafka的topic中，启动两个消费者，⼀个⽣产者，问：⽣产者发送消息，这条消息是否同时会被两个消费者消费？ 如果多个消费者在同⼀个消费组，那么只有⼀个消费者可以收到订阅的
KOA+egg.js集成kafka消息队列的示例
01-01
系统要求：日志记录，通过kafka进行消息队列控制 思路图： 这里消费者和生产者都由日志系统提供 λ.1 环境准备 ①Kafka 官网下载kafka后，解压 启动zookeeper： bin/zookeeper-server-start.sh config/zookeeper....
kafka消息队列学习笔记
07-02
kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列...
Kafka消息队列应用实例解析
最新发布
08-10
在“Kafka 消息队列示例”中，生产者负责生成数据并将其发送到指定主题。生产者可以通过自定义分区器决定如何将消息分配到不同分区。此外，Kafka 生产者支持批量发送，以提高效率并降低网络 I/O 开销。 Kafka 消费者...
kafka 发送和接收消息
03-01
消息中间件kafka 进行消息的分发和接收示例 应用中包含分通道发送和多线程接收
kafka丢消息
hellozhxy的博客
02-26 863
kafka会丢消息主要集中在两个环节 消息落盘时机 消息落盘有异步刷新和同步刷新两种，明显异步刷新的可靠性要高很多。但在某些场景下追求性能而忽略可靠性，可以启用。 消息存储维护 持久化存储，这句话不是说来玩的。Oracle／MySQL做了这么久的存储，其中的灾难恢复工具等都非常完备并形成体系（出问题你能找到人并能解决问题）kafka的存储谁特么知道～工具又特么的少！ 另外就是...
Kafka发送消息和读取消息
Tyshawn的博客
12-19 3073
生产者发送消息到Kafka 我们先来看一个生产者-消费者最简单的实例. public class DemoProducer { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "192.168.124.20:...
【后端】消息队列--Kafka篇
王大阳的博客
04-02 4964
parition中的消息采用多个小文件段的方式存储，很容易实现消息定期清除或删除已经消费完的文件。通过索引文件可以快速定位message在日志文件中的位置。索引文件通过Mmap技术直接映射到内存中，这样对索引的操作就不需要操作磁盘IO，也减少了数据在内存中的拷贝次数。索引文件采用稀疏存储，可以大幅降低索引文件映射到内存中时占用的内存空间大小。它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗通过mmap提高I/O速度，写入数据的时候由于。
kafka消息队列-笔记
m0_61276219的博客
03-10 815
1 什么是消息 在应用系统之间，传递的数据，叫做消息； 2 常见消息队列 标准的消息队列实现： 主要基于pub/sub publish 、subscribe发布与订阅模型 RabbitMQ:rabbit message queue ActiveMQ:支持消息队列当中事务处理 RocketMQ:阿里开源的消息队列rocket 非标准的消息队列的实现 消息队列模型：主要是基于push、poll 推送...
消息队列——kafka基础
qq_51936245的博客
06-04 2748
Kafka 是一个分布式的---基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。发布/订阅模式​ 原文链接：https://blog.youkuaiyun.com/tjvictor/article/details/5223309​ 定义了一种一对多的依赖关系，让多个订阅者对象同时监听某一个主题对象。这个主题对象在自身状态变化时，会通知所有订阅者对象，使它们能够自动更新自己的状态。​将一个系统分割成一系列相互协作的类有一个很不好的副作用，那就是需要维护相应对象间的一致性。
kafka介绍及消息队列
weixin_48986387的博客
04-01 556
何为消息队列呢?消息: 本质上就是数据 , 而且这个数据存在一种流动状态, 从某一端传递到另一端队列: 本质上就是容器, 可以存储数据, 只不过这个容器具备 FIFO(先进先出) 特性消息队列: 指的就是 将消息数据放置到队列, 通过队列实现数据传输的特性, 从队列的一端写入, 从另一端输出, 保持FIFO特性​ kafka是一款消息队列的中间件的产品, 来源于领英公司, 后期将其贡献给了apache 目前是apache旗下的顶级来源项目, 采用语言是scala。
Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】
蓝天it（让亿万孩子在蓝天下共享优质教育）
02-03 2020
消息队列”(Message Queue,MQ)从字面来理解，是一个队列，拥有先进先出(FirstInputFirst Output，FIFO)的特性。它主要用于不同进程或线程之间的通信，用来处理一系列的输入请求。消息队列采用异步通信机制。即，消息的发送者和接收者无须同时与消息队列进行数据交互，消息会一直保存在队列中，直至被接收者读取。每一条消息记录都包含详细的数据说明,包括数据产生的时间、数据类型、特定的输入参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值