消息队列技术解析-优快云博客

本文链接：https://blog.youkuaiyun.com/MoneyHacksPro/article/details/148846070

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

🌾阅读前，快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问，以加深理解和吸收知识。阅读结束后，反思和总结所学内容，并尝试应用到现实中，有助于深化理解和应用知识。与朋友或同事分享所读内容，讨论细节并获得反馈，也有助于加深对知识的理解和吸收。💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

一、RabbitMQ知识体系补充说明

1. 消息模型

直连交换器：直连交换器（Direct Exchange）的实现依赖于Erlang的分布式特性，通过在交换器上注册绑定，使得消息能够精确地匹配到绑定的队列。
扇形交换器：扇形交换器（Fanout Exchange）通过广播机制，将消息传递给所有与之绑定的队列，无需考虑消息的路由键，适用于需要将消息广播到多个消费者的场景。
主题交换器：主题交换器（Topic Exchange）使用模式匹配规则来路由消息，其中模式匹配类似于正则表达式，允许使用通配符进行匹配，如“#”代表任意数量的单词，“*”代表任意一个单词。
路由交换器：路由交换器（Headers Exchange）基于消息的头部信息进行路由，而不是路由键，提供了更灵活的消息路由方式。

2. 消息传递

生产者发送消息：生产者在发送消息前，需要创建一个通道（Channel），并通过通道与交换器建立连接，然后发送消息。
交换器路由消息：交换器根据消息的路由键和队列的绑定关系，将消息路由到相应的队列。
消费者接收消息：消费者通过监听队列来接收消息，可以使用自动确认或手动确认的方式确保消息处理。

3. 消息确认机制

自动确认：消费者在从队列中获取消息并处理完成后，会自动发送一个确认信号给RabbitMQ，表示消息已被成功处理。
手动确认：消费者在处理完消息后，可以手动发送确认信号，这种方式提供了更多的控制，例如在处理失败时可以拒绝消息。

4. 事务消息

开启事务：在消息传递过程中，生产者可以通过开启事务来保证消息的原子性，确保要么所有消息都成功发送，要么在遇到错误时全部回滚。
提交事务：在消息处理完成后，如果一切顺利，生产者可以提交事务，确保所有消息都被发送到RabbitMQ。
回滚事务：如果在消息处理过程中出现错误，生产者可以回滚事务，撤销之前发送的所有消息。

5. 死信队列

消息过期：当消息在队列中超过其TTL（Time To Live）时，该消息会被标记为死信，并自动路由到死信队列。
消费者拒绝：如果消费者在处理消息时拒绝接收，或者拒绝确认消息，该消息也会被标记为死信。
消息被拒绝：如果交换器在尝试路由消息时失败，或者队列无法处理消息，该消息也会被标记为死信。

6. 集群架构

镜像队列：在RabbitMQ集群中，镜像队列通过在多个节点上复制队列数据，提高了消息的可用性和持久性。
联邦插件：联邦插件允许跨节点的消息传递，使得不同集群之间的消息可以相互传递。
集群节点类型：集群节点分为普通节点、管理节点和监控节点，分别负责消息处理、集群管理和监控。

7. 高级特性

TTL消息：通过设置消息的TTL，可以控制消息在队列中的存活时间，超过TTL的消息会被自动删除。
优先级队列：RabbitMQ支持设置消息的优先级，优先级高的消息会被优先处理。
RPC模式：RabbitMQ支持RPC模式，允许客户端通过消息队列调用远程服务。

二、RocketMQ知识体系补充说明

1. 消息类型

定时消息：通过设置消息的延迟时间，可以实现定时发送消息的功能。
事务消息：RocketMQ的事务消息通过两阶段提交协议来保证消息的原子性，确保事务的一致性。
延迟消息：延迟消息允许在指定的时间后发送消息，适用于需要延迟处理的消息场景。

2. 存储机制

CommitLog设计：RocketMQ的消息存储采用CommitLog文件，每个文件包含一系列的消息，消息以追加的方式写入文件，保证了消息的顺序性和持久性。
消息索引：RocketMQ为每条消息生成索引，索引存储在内存中，以便快速检索消息。
刷盘策略：RocketMQ采用异步刷盘策略，将消息从内存刷写到磁盘，提高了系统的性能。

3. 高可用设计

主从同步：RocketMQ采用主从同步机制，主节点负责消息的写入和消费，从节点负责数据的同步，提高了系统的可用性。
Dledger选举：在主节点故障时，Dledger选举机制会从从节点中选择一个成为新的主节点，保证了系统的持续运行。
故障转移：在主节点故障时，从节点会自动接管主节点的职责，保证了系统的连续性。

4. 扩展功能

消息轨迹：RocketMQ提供了消息轨迹功能，可以记录消息的传递过程，方便问题排查。
ACL控制：RocketMQ支持基于访问控制列表（ACL）的消息权限控制，确保消息的安全性。
多副本机制：RocketMQ采用多副本机制，将消息存储在多个副本中，提高了消息的可靠性。

三、Kafka知识体系补充说明

1. 核心组件

生产者：Kafka的生产者负责将消息发送到Kafka集群，生产者可以选择同步或异步发送消息。
消费者：消费者从Kafka集群中读取消息并进行处理，消费者可以订阅多个主题，并可以选择消费模式（如从最早的消息开始消费或从最后一条消息开始消费）。
分区：Kafka将消息存储在多个分区中，每个分区是一个有序的消息序列，分区可以提高系统的吞吐量和容错性。
ISR集合：ISR（In-Sync Replicas）集合是指所有同步副本的集合，只有ISR集合中的副本才会被用于读取消息。

2. 流处理

KStream API：KStream API提供了流式数据处理能力，允许开发者构建复杂的流处理应用。
状态存储：Kafka的状态存储允许将状态信息存储在Kafka中，方便数据恢复。
时间窗口：Kafka支持时间窗口划分，可以对数据进行时间窗口统计，例如每小时或每天的统计数据。

3. 运维监控

副本同步机制：Kafka的副本同步机制保证了数据的一致性，确保所有副本中的数据都是一致的。
日志清理策略：Kafka定期清理旧日志，释放存储空间，并保证系统性能。
JMX指标：Kafka提供了丰富的JMX指标，方便监控和问题排查。

4. 生态集成

Connect连接器：Kafka Connect连接器允许实现数据源和Kafka之间的数据传输，例如从数据库或文件系统读取数据并写入Kafka。
Schema Registry：Kafka Schema Registry用于管理数据结构的版本和兼容性，确保数据结构的正确性和一致性。
KSQL引擎：KSQL引擎提供了SQL查询能力，允许对Kafka中的数据进行实时查询和分析。

优快云

📥博主的人生感悟和目标

希望各位读者大大多多支持用心写文章的博主，现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目： Java程序员廖志伟
- 🌥 哔哩哔哩： Java程序员廖志伟
- 🎏 个人社区： Java程序员廖志伟
- 🔖 个人微信号： SeniorRD

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。这些书籍包括了基础篇、进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌，以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整，希望各位读者朋友能够多多支持！