RabbitMQ/RocketMQ/Kafka知识体系

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

🌾阅读前，快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问，以加深理解和吸收知识。阅读结束后，反思和总结所学内容，并尝试应用到现实中，有助于深化理解和应用知识。与朋友或同事分享所读内容，讨论细节并获得反馈，也有助于加深对知识的理解和吸收。💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

一、RabbitMQ知识体系补充说明

消息模型

RabbitMQ的消息模型是一个高度可扩展且灵活的设计，它允许应用程序以一种非阻塞的方式处理消息。以下是消息模型中每个概念的技术实现细节：

• 直连交换器（Direct Exchange）：在RabbitMQ中，交换器是用于路由消息的关键组件。Direct Exchange将消息根据路由键（消息的header中的一个属性）发送到绑定了相应路由键的队列。在内部实现中，交换器使用哈希表来存储与路由键相关的队列。

• 扇形交换器（Fanout Exchange）：Fanout Exchange的行为比较简单，它将接收到的每条消息广播到所有与它绑定的队列。在内部，Fanout Exchange只是简单地遍历所有绑定的队列并将消息发送出去，不需要匹配路由键。

• 主题交换器（Topic Exchange）：Topic Exchange允许更复杂的消息路由规则，类似于电子邮件的“订阅”系统。消息路由基于一个模式匹配规则，其中使用点（.）作为通配符，*匹配一个或多个单词，而#匹配任意数量的单词。

消息传递

• 消息确认机制（Message Acknowledgement）：RabbitMQ的确认机制确保了消息处理过程中的可靠性。客户端在处理完消息后发送一个确认信号给RabbitMQ，RabbitMQ收到确认后才会从队列中删除该消息。确认机制可以是自动的（客户端在收到消息后自动发送确认）或手动（客户端在处理完消息后显式发送确认）。

• 事务消息（Transactional Message）：事务消息确保消息处理的原子性。RabbitMQ通过事务日志来确保事务的开始、消息的发送和确认的提交或回滚。

• 死信队列（Dead Letter Queue）：Dead Letter Queue是用于处理无法被正常处理的消息的地方。这通常是由于消息处理失败或队列长度超过限制。在RabbitMQ中，可以配置队列以将无法处理的消息发送到死信队列。

集群架构

• 镜像队列（Mirrored Queues）：镜像队列在RabbitMQ集群中的不同节点上创建队列的多个副本，以确保高可用性。在内部，镜像队列使用复制机制来保持数据的一致性。

• 联邦插件（Federation Plugin）：联邦插件允许跨多个RabbitMQ集群的消息传递。在内部，联邦插件通过复制交换器来同步不同集群之间的消息。

• 集群节点类型：RabbitMQ集群中的节点分为管理节点和普通节点。管理节点负责集群管理任务，如监控和集群状态维护，而普通节点负责消息处理。

高级特性

• TTL消息（Time-to-Live Message）：RabbitMQ允许为消息设置TTL，超过TTL的消息会被自动删除。内部实现中，RabbitMQ在消息入队时记录TTL，并在消息到期时将其删除。

• 优先级队列（Priority Queue）：RabbitMQ支持优先级队列，允许根据消息的优先级进行排序。在内部实现中，队列维护一个有序列表来存储具有不同优先级的消息。

• RPC模式（Remote Procedure Call）：RabbitMQ的RPC模式允许客户端向服务器发送消息并等待响应。内部实现中，客户端发送一个请求消息到队列，服务器从队列中获取请求并处理后发送响应消息回客户端。

二、RocketMQ知识体系补充说明

消息类型

• 定时消息（Scheduled Message）：RocketMQ的定时消息可以在消息的属性中设置一个延迟时间，该时间后消息才会被投递。内部实现中，RocketMQ使用定时任务来跟踪和延迟消息。

• 事务消息（Transactional Message）：RocketMQ支持本地事务和全局事务。本地事务是在消息发送和消费的过程中保证消息的原子性，而全局事务涉及数据库事务和消息发送事务的同步。内部实现中，RocketMQ使用两阶段提交协议来保证事务的原子性。

• 延迟消息（Delay Message）：延迟消息在一定延迟后发送，延迟时间由发送消息时设置的。内部实现中，RocketMQ使用一个定时任务来检查延迟消息并按计划投递它们。

存储机制

• CommitLog设计：CommitLog是一个顺序写盘的日志文件，用于存储所有消息的原始数据。RocketMQ通过这种设计优化了I/O效率，并确保了消息的持久化。

• 消息索引：消息索引是用于快速定位消息位置的数据结构。RocketMQ使用哈希表来存储消息索引，以便快速检索消息。

• 刷盘策略：RocketMQ的刷盘策略包括同步刷盘和异步刷盘。同步刷盘确保消息在写入磁盘之前完成事务，而异步刷盘则允许在内存中暂存消息直到达到一定的阈值。

高可用设计

• 主从同步（Master-Slave Synchronization）：RocketMQ使用主从同步机制来保证数据的一致性。在内部实现中，主节点负责接收客户端发送的消息并将其写入磁盘，而从节点负责从主节点同步消息。

• Dledger选举：Dledger选举用于处理主从切换。在主节点故障时，Dledger会选举一个新的主节点并同步数据。

• 故障转移（Fault Transfer）：在主节点故障时，故障转移机制会自动将工作切换到从节点。

扩展功能

• 消息轨迹（Message Trace）：消息轨迹允许用户追踪消息的处理过程。内部实现中，RocketMQ记录每条消息的发送、消费和处理信息。

• ACL控制（Access Control List）：RocketMQ使用ACL控制来控制对消息队列的访问。内部实现中，RocketMQ使用权限控制列表来验证客户端的访问权限。

• 多副本机制（Replication）：多副本机制提高了消息的可靠性。在内部实现中，RocketMQ使用复制机制来确保消息在不同节点之间的同步。

三、Kafka知识体系补充说明

核心组件

• 生产者（Producer）：Kafka生产者负责将消息发送到Kafka集群。内部实现中，生产者使用Kafka的客户端库来与Kafka集群进行通信。

• 消费者（Consumer）：消费者从Kafka集群中读取消息。内部实现中，消费者使用Kafka的客户端库来订阅主题并拉取消息。

• 生产者分区策略：Kafka的生产者可以配置分区策略来决定消息发送到哪个分区。内部实现中，分区策略可以是随机选择、轮询或通过自定义逻辑选择。

• 消费者组机制：消费者组允许多个消费者协同工作，共同消费一个主题的消息。内部实现中，消费者组通过维护消费者成员列表来协调消息的消费。

• ISR集合（In-Sync Replicas）：ISR集合记录了当前所有副本中同步的副本。在内部实现中，Kafka使用ZooKeeper来维护ISR集合。

流处理

• KStream API：KStream API允许开发者构建流处理应用程序。内部实现中，KStream API是建立在Kafka Streams库之上的，它提供了构建流处理应用程序所需的工具和方法。

• 状态存储：状态存储用于存储流处理应用程序的状态信息。内部实现中，状态存储可以是内存存储、文件存储或分布式存储。

• 时间窗口：时间窗口将时间划分为不同的窗口，对窗口内的数据进行处理。内部实现中，时间窗口可以是固定窗口、滑动窗口或会话窗口。

运维监控

• 副本同步机制：副本同步机制保证数据的一致性。在内部实现中，Kafka使用副本同步协议来确保副本之间数据的一致性。

• 日志清理策略：日志清理策略定期清理日志文件。内部实现中，Kafka使用日志清理工具来管理日志文件。

• JMX指标：JMX指标通过JMX接口获取集群的运行状态。内部实现中，Kafka通过JMX代理来收集和提供集群指标。

生态集成

• Connect连接器：Connect连接器实现数据源与Kafka集群的连接。内部实现中，Connect连接器是一个独立的组件，可以与Kafka集群独立运行。

• Schema Registry：Schema Registry存储消息的schema信息。内部实现中，Schema Registry使用注册中心来存储和版本控制schema信息。

• KSQL引擎：KSQL引擎支持SQL查询Kafka中的数据。内部实现中，KSQL引擎是建立在Kafka Streams库之上的，它提供了查询Kafka数据所需的SQL语法和功能。

📥博主的人生感悟和目标

希望各位读者大大多多支持用心写文章的博主，现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目： Java程序员廖志伟
- 🌥 哔哩哔哩： Java程序员廖志伟
- 🎏 个人社区： Java程序员廖志伟
- 🔖 个人微信号： SeniorRD

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。这些书籍包括了基础篇、进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌，以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整，希望各位读者朋友能够多多支持！

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~