消息队列技术对比分析-优快云博客

本文链接：https://blog.youkuaiyun.com/MoneyHacksPro/article/details/148870311

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

🌾阅读前，快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问，以加深理解和吸收知识。阅读结束后，反思和总结所学内容，并尝试应用到现实中，有助于深化理解和应用知识。与朋友或同事分享所读内容，讨论细节并获得反馈，也有助于加深对知识的理解和吸收。💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

一、RabbitMQ知识体系

消息模型

RabbitMQ作为AMQP协议的实现，其消息模型的核心在于交换器（Exchange）和队列（Queue）之间的交互。在RabbitMQ中，交换器负责接收生产者发送的消息，并根据消息的路由键（Routing Key）将消息路由到对应的队列。以下是三种主要的交换器类型：

直连交换器（Direct Exchange）：消息被发送到交换器后，交换器会根据消息的路由键精确匹配对应的队列。这种交换器类型要求路由键与队列的绑定键完全一致。
扇形交换器（Fanout Exchange）：消息发送到扇形交换器后，会广播到所有与之绑定的队列，而不考虑路由键。这种交换器类型适用于广播消息的场景。
主题交换器（Topic Exchange）：主题交换器允许使用通配符进行消息的路由。通配符包括星号（*）和井号（#），分别代表任意数量的单词和一个单词。这种交换器类型适用于复杂的消息路由需求。

消息传递

消息传递是RabbitMQ的核心功能，涉及到消息的发送、接收和确认。以下是几个关键的技术实现细节：

消息确认机制（Message Acknowledgment）：消费者在接收到消息并处理完成后，需要向RabbitMQ发送一个确认信号。如果消息处理失败，消费者可以发送一个拒绝信号。这样，RabbitMQ可以重新路由消息或将其放入死信队列。
事务消息（Transactional Messages）：RabbitMQ支持事务，确保消息的原子性。事务通过RabbitMQ的TX选路器实现，该选路器可以确保消息要么全部发送成功，要么全部失败。
死信队列（Dead Letter Queue）：死信队列用于处理无法路由或被拒绝的消息。这些消息通常是由于格式错误、路由键错误或队列已满等原因导致的。

集群架构

RabbitMQ的集群架构旨在提高系统的可用性和伸缩性。以下是几个关键的技术实现细节：

镜像队列（Mirrored Queues）：镜像队列在多个节点上创建队列的副本，从而提高队列的可用性。当主节点故障时，镜像队列可以接管主节点的角色。
联邦插件（Federation Plugin）：联邦插件允许在不同的RabbitMQ集群之间共享队列和交换器。这对于跨地域的分布式系统特别有用。
集群节点类型：RabbitMQ集群中的节点可以是磁盘节点或内存节点。磁盘节点用于持久化消息，而内存节点则用于提高性能。

高级特性

RabbitMQ的高级特性使其适用于更复杂的场景。以下是几个关键的技术实现细节：

TTL消息（Time-To-Live Messages）：TTL消息设置了消息的存活时间。当消息达到TTL时，RabbitMQ会将其自动删除。
优先级队列（Priority Queue）：优先级队列允许消息根据优先级进行排序。具有更高优先级的消息会被优先处理。
RPC模式（Remote Procedure Call）：RabbitMQ支持RPC模式，允许客户端通过RabbitMQ调用远程服务。

二、RocketMQ知识体系

消息类型

RocketMQ支持多种消息类型，以满足不同的业务需求。以下是几种关键的消息类型及其技术实现细节：

定时消息（Scheduled Messages）：定时消息支持按照指定的延迟时间发送消息。RocketMQ通过一个定时调度器来实现这一功能。
事务消息（Transactional Messages）：RocketMQ支持本地事务和全局事务。本地事务在消息发送方完成，而全局事务则涉及到消息发送方和消息接收方的协同。
延迟消息（Delay Messages）：延迟消息支持消息的延迟发送。RocketMQ通过一个延迟队列来实现这一功能。

存储机制

RocketMQ的存储机制是其可靠性和性能的关键。以下是几个关键的技术实现细节：

CommitLog设计：RocketMQ采用日志文件存储消息，每个消息都包含消息标识、消息体、事务状态等信息。这种设计保证了消息的持久化。
消息索引：RocketMQ为消息创建索引，以便快速检索消息。
刷盘策略：RocketMQ采用多种刷盘策略，包括同步刷盘和异步刷盘，以确保消息的顺序性和可靠性。

高可用设计

RocketMQ提供高可用设计，确保系统的稳定运行。以下是几个关键的技术实现细节：

主从同步：RocketMQ采用主从同步机制，主节点负责消息的写入，从节点负责消息的读取，保证数据的一致性。
Dledger选举：RocketMQ采用Dledger算法进行主从节点的选举，确保系统的稳定运行。
故障转移：在主节点故障时，RocketMQ会自动进行故障转移，保证系统的可用性。

扩展功能

RocketMQ提供了一些扩展功能，增强其功能性和灵活性。以下是几个关键的技术实现细节：

消息轨迹：RocketMQ支持消息轨迹，记录消息的发送、路由和处理过程。
ACL控制：RocketMQ支持访问控制列表（ACL），控制对消息的访问。
多副本机制：RocketMQ在多个节点上存储消息的副本，提高消息的可靠性。

三、Kafka知识体系

核心组件

Kafka作为分布式流处理平台，其核心组件包括生产者、消费者、主题和分区。以下是几个关键的技术实现细节：

生产者分区策略：Kafka支持多种分区策略，包括随机分区、轮询分区和自定义分区策略。这些策略决定了消息被发送到哪个分区。
消费者组机制：Kafka允许多个消费者实例协同消费消息。消费者组中的消费者实例共享同一个消费组ID，并协同消费消息。
ISR集合：ISR集合是指所有副本都处于同步状态的副本集合。Kafka通过副本同步机制来维护ISR集合。

流处理

Kafka支持流处理，包括KStream API、状态存储和时间窗口。以下是几个关键的技术实现细节：

KStream API：KStream API用于构建流式应用程序。它提供了丰富的操作符，如map、filter、join等。
状态存储：Kafka支持状态存储，用于存储流式应用程序的状态。状态存储可以保证流式应用程序的容错性和持久性。
时间窗口：时间窗口对数据进行时间分区，以便进行窗口内的操作。Kafka支持滑动窗口和固定窗口。

运维监控

Kafka提供了一系列的运维监控工具，包括副本同步机制、日志清理策略和JMX指标。以下是几个关键的技术实现细节：

副本同步机制：Kafka通过副本同步机制来监控副本之间的同步状态。
日志清理策略：Kafka支持自动清理不再需要的日志文件，以节省存储空间。
JMX指标：Kafka通过JMX接口提供性能指标，以便进行监控和分析。

生态集成

Kafka与许多其他技术集成，包括Connect连接器、Schema Registry和KSQL引擎。以下是几个关键的技术实现细节：

Connect连接器：Connect连接器用于数据集成和ETL。
Schema Registry：Schema Registry用于管理数据模式。
KSQL引擎：KSQL引擎用于在Kafka上运行SQL查询。

通过以上对RabbitMQ、RocketMQ和Kafka的知识体系进行详细描述，我们可以看到这三种消息中间件各自的特点和优势。RabbitMQ以其灵活的消息模型和丰富的特性在小型到中型的系统中表现出色；RocketMQ在保证高可用性和可靠性方面有着显著的优势，适用于大规模分布式系统；而Kafka则以其高吞吐量和分布式特性在流处理领域占据重要地位。了解这些知识体系，有助于我们在实际应用中选择合适的消息中间件，以满足不同的业务需求。

优快云

📥博主的人生感悟和目标

希望各位读者大大多多支持用心写文章的博主，现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目： Java程序员廖志伟
- 🌥 哔哩哔哩： Java程序员廖志伟
- 🎏 个人社区： Java程序员廖志伟
- 🔖 个人微信号： SeniorRD

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。这些书籍包括了基础篇、进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌，以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整，希望各位读者朋友能够多多支持！