RabbitMQ/RocketMQ/Kafka 比较分析

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

🌾阅读前，快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问，以加深理解和吸收知识。阅读结束后，反思和总结所学内容，并尝试应用到现实中，有助于深化理解和应用知识。与朋友或同事分享所读内容，讨论细节并获得反馈，也有助于加深对知识的理解和吸收。💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

一、RabbitMQ知识体系

消息模型

RabbitMQ的消息模型基于AMQP协议，它通过交换器（Exchange）、队列（Queue）和绑定（Binding）来实现消息的传递。在RabbitMQ中，消息的路由是通过交换器和队列之间的关系来实现的。

• 直连交换器（Direct Exchange）：它将消息路由到与消息的路由键（Routing Key）完全匹配的队列。在实现上，每个队列都会有一个唯一的路由键与之关联，当消息到达交换器时，交换器会检查消息的路由键，并将其发送到匹配的队列。

• 扇形交换器（Fanout Exchange）：它将消息广播到所有与之绑定的队列。这种交换器在实现上并不关心消息的路由键，而是将接收到的每条消息都发送到所有绑定的队列。

• 主题交换器（Topic Exchange）：它根据消息的路由键的模式（正则表达式）将消息路由到相应的队列。在实现上，主题交换器允许使用通配符来匹配路由键，如“#”代表任意数量的单词，“*”代表任意数量的单词，但只能匹配一次。

消息传递

在RabbitMQ中，消息的传递涉及到消息确认、事务处理和死信队列等机制。

• 消息确认机制：消费者在处理完消息后，需要发送一个确认信号给RabbitMQ，表示消息已经被成功处理。如果消费者在处理消息时发生异常，它可以选择拒绝消息，RabbitMQ会将消息重新入队，等待其他消费者处理。

• 事务消息：RabbitMQ支持事务，确保消息的原子性。在事务中，消息要么全部发送，要么全部不发送。事务的实现依赖于RabbitMQ的事务协议，它通过发送一系列的预命令来确保事务的一致性。

• 死信队列：当消息无法被路由到队列或者消费者拒绝消息时，RabbitMQ会将这些消息发送到死信队列。死信队列在实现上是一个特殊的队列，它用于存储那些无法被正常处理的消息。

集群架构

RabbitMQ的集群架构通过镜像队列、联邦插件和集群节点类型来实现高可用性和伸缩性。

• 镜像队列：镜像队列将一个队列的多个副本分布在不同的节点上，确保数据的一致性和高可用性。在实现上，RabbitMQ会监控队列的状态，并在需要时进行副本的同步。

• 联邦插件：联邦插件允许跨多个RabbitMQ实例的消息传递。在实现上，联邦插件通过建立网络连接来同步队列和交换器的状态。

• 集群节点类型：RabbitMQ支持磁盘节点和内存节点。磁盘节点将消息存储在磁盘上，而内存节点则将消息存储在内存中。这种设计允许根据不同的负载需求选择合适的节点类型。

高级特性

RabbitMQ的高级特性包括TTL消息、优先级队列和RPC模式。

• TTL消息：TTL消息设置了一个存活时间，超过这个时间后，RabbitMQ会自动将消息丢弃。在实现上，RabbitMQ会在消息头中添加一个TTL字段，并在消息过期时将其移除队列。

• 优先级队列：优先级队列允许消息根据优先级进行排序。在实现上，RabbitMQ会为每个消息分配一个优先级，并在处理消息时优先处理优先级高的消息。

• RPC模式：RabbitMQ的RPC模式允许客户端发送请求到RabbitMQ，并等待响应。在实现上，客户端发送一个请求消息，RabbitMQ将其发送到服务器，服务器处理请求并返回响应。

二、RocketMQ知识体系

消息类型

RocketMQ支持多种消息类型，包括定时消息、事务消息和延迟消息。

• 定时消息：定时消息在指定时间发送，RocketMQ通过存储定时消息的索引来实现这一功能。在实现上，RocketMQ会定期检查定时消息的索引，并在指定时间发送消息。

• 事务消息：事务消息确保消息的原子性和一致性。RocketMQ通过两阶段提交协议来实现事务消息。在实现上，RocketMQ会将事务消息分成两个阶段：第一阶段提交消息，第二阶段确保消息被成功处理。

• 延迟消息：延迟消息在指定时间后发送，RocketMQ通过延迟队列来实现这一功能。在实现上，RocketMQ会为每个延迟消息设置一个时间戳，并在到达指定时间后发送消息。

存储机制

RocketMQ的存储机制包括CommitLog、消息索引和刷盘策略。

• CommitLog设计：CommitLog用于存储消息的日志文件，它是一个顺序写文件，保证了消息的持久性和顺序性。在实现上，RocketMQ使用单线程的方式写入CommitLog，避免了并发写入的问题。

• 消息索引：消息索引用于快速定位消息的位置，它通过消息的键（Key）和消息的偏移量（Offset）来索引消息。在实现上，RocketMQ使用哈希表来存储消息索引，以实现快速的查找。

• 刷盘策略：刷盘策略确保消息的持久化。RocketMQ提供了多种刷盘策略，包括同步刷盘和异步刷盘。在实现上，RocketMQ会根据配置的策略将消息写入磁盘。

高可用设计

RocketMQ的高可用设计通过主从同步、Dledger选举和故障转移来实现。

• 主从同步：主从同步确保主节点和从节点之间的数据一致性。在实现上，RocketMQ使用异步复制的方式，从节点从主节点拉取数据。

• Dledger选举：在主节点故障时，Dledger选举机制会进行主节点的选举。在实现上，Dledger使用Raft算法来选举主节点。

• 故障转移：在节点故障时，RocketMQ会自动切换到备用节点。在实现上，RocketMQ使用心跳机制来监控节点状态，并在节点故障时进行故障转移。

扩展功能

RocketMQ的扩展功能包括消息轨迹、ACL控制和多副本机制。

• 消息轨迹：消息轨迹跟踪消息的传递路径，帮助用户了解消息的处理过程。在实现上，RocketMQ为每条消息添加了轨迹信息，并在消息传递过程中记录轨迹。

• ACL控制：ACL控制用于控制用户对消息队列的访问。在实现上，RocketMQ使用访问控制列表（ACL）来限制用户的权限。

• 多副本机制：多副本机制提高消息的可靠性和可用性。在实现上，RocketMQ为每个消息创建多个副本，并将它们存储在不同的节点上。

三、Kafka知识体系

核心组件

Kafka的核心组件包括生产者、消费者和主题。

• 生产者分区策略：生产者分区策略决定消息如何分配到不同的分区。在实现上，Kafka提供了多种分区策略，包括随机分区、轮询分区和关键哈希分区。

• 消费者组机制：消费者组机制允许多个消费者实例共同消费一个主题。在实现上，Kafka将消费者实例组织成组，并确保每个分区只被组中的一个消费者实例消费。

• ISR集合：ISR集合是同步副本集合，确保数据的一致性。在实现上，Kafka通过心跳机制来监控副本的状态，并维护一个ISR集合。

流处理

Kafka提供流处理能力，支持实时数据处理。

• KStream API：KStream API用于构建流处理应用程序。在实现上，KStream API提供了丰富的操作符，如map、filter、reduce等，用于处理流数据。

• 状态存储：状态存储用于存储流处理过程中的状态信息。在实现上，Kafka使用Kafka内部的存储来存储状态信息。

• 时间窗口：时间窗口用于对数据进行时间范围内的聚合。在实现上，Kafka提供了滑动窗口和固定窗口两种时间窗口。

运维监控

Kafka提供了一系列的运维监控工具。

• 副本同步机制：副本同步机制确保数据在不同节点之间的同步。在实现上，Kafka使用副本同步协议来同步数据。

• 日志清理策略：日志清理策略用于自动清理旧数据。在实现上，Kafka提供了多种日志清理策略，如滚动清理和压缩清理。

• JMX指标：JMX指标提供详细的性能指标。在实现上，Kafka通过JMX接口暴露性能指标，允许用户通过JMX工具来监控Kafka的性能。

生态集成

Kafka与多个生态系统集成，提供丰富的功能。

• Connect连接器：Connect连接器用于数据集成和流处理。在实现上，Connect连接器可以将数据从不同的数据源导入到Kafka中，也可以将数据从Kafka导出到不同的数据目标。

• Schema Registry：Schema Registry用于管理数据模式。在实现上，Schema Registry存储了数据模式的定义，并允许应用程序在处理数据时使用这些模式。

• KSQL引擎：KSQL引擎提供SQL-like的查询语言。在实现上，KSQL引擎允许用户使用SQL语句来查询Kafka中的数据。

📥博主的人生感悟和目标

希望各位读者大大多多支持用心写文章的博主，现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目： Java程序员廖志伟
- 🌥 哔哩哔哩： Java程序员廖志伟
- 🎏 个人社区： Java程序员廖志伟
- 🔖 个人微信号： SeniorRD

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。这些书籍包括了基础篇、进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌，以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整，希望各位读者朋友能够多多支持！

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~