MQ不丢消息，究竟是怎么实现的？

最新推荐文章于 2024-08-16 13:58:50 发布
转载 最新推荐文章于 2024-08-16 13:58:50 发布 · 207 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://www.toutiao.com/i6834090029292192264/
文章标签：

#消息队列

本文探讨了消息队列(MQ)确保消息可靠传递的核心架构与流程，包括消息落地及超时重传机制，旨在解决MQ重启导致消息丢失的问题。

以下内容转载自 https://www.toutiao.com/i6834090029292192264/

技术联盟总坛2020-06-03 19:59:40

作者： 58沈剑 架构师之路

前几天有水友提问：

通过消息队列（MsgQueue，MQ）发送任务和消息，万一MQ重启了怎么办？能否保证MQ不丢消息？

 

今天就聊聊MQ的消息必达性架构与流程。

 

不丢消息，MQ架构设计的核心方向是什么？

MQ要想消息必达，架构上有两个核心设计点：

（1）消息落地；

（2）消息超时、重传、确认；

 

为了实现上述两个核心点，MQ架构如何？

MQ不丢消息，究竟是怎么实现的？

 

上图是一个MQ的核心架构图，可以分为三大块：

（1）发送方 -> 左侧粉色部分；

（2）MQ核心集群 -> 中间蓝色部分；

（3）接收方 -> 右侧屎黄色部分；

 

粉色发送方又由两部分构成：

（1）业务调用方；

（2）MQ-client-sender；

其中后者向前者提供了两个核心API：

（1）SendMsg(bytes[] msg);

（2）SendCallback();

 

蓝色MQ核心集群又分为四个部分：

（1）MQ-server

（2）zk；

（3）db；

（4）管理后台web；

 

黄色接收方也由两部分构成：

（1）业务接收方；

（2）MQ-client-receiver；

其中后者向前者提供了两个核心API：

（1）RecvCallback(bytes[] msg);

（2）SendAck();

 

MQ是一个系统间解耦的利器，它能够很好的解除发布订阅者之间的耦合，它将上下游的消息投递解耦成两个部分，如架构图中的1箭头和2箭头：

MQ不丢消息，究竟是怎么实现的？

 

箭头1：发送方将消息投递给MQ，上半场；

箭头2：MQ将消息投递给接收方，下半场；

 

MQ消息可靠投递核心流程如何？

MQ既然将消息投递拆成了上下半场，为了保证消息的可靠投递，上下半场都必须保证消息必达。

MQ不丢消息，究竟是怎么实现的？

 

MQ消息投递上半场，MQ-client-sender到MQ-server流程见上图1-3：

（1）MQ-client将消息发送给MQ-server；

画外音：此时业务方调用API：SendMsg。

（2）MQ-server将消息落地，落地后即为发送成功；

（3）MQ-server将应答发送给MQ-client；

画外音：此时回调业务API：SendCallback。

MQ不丢消息，究竟是怎么实现的？

 

MQ消息投递下半场，MQ-server到MQ-client-receiver流程见上图4-6：

（4）MQ-server将消息发送给MQ-client；

画外音：此时回调业务API：RecvCallback。

（5）MQ-client回复应答给MQ-server；

画外音：此时业务方主动调用API：SendAck。

（6）MQ-server收到ack，将之前已经落地的消息删除，完成消息的可靠投递；

 

如果消息丢了怎么办？

MQ消息投递的上下半场，都可以出现消息丢失，为了保证消息可达性，MQ需要进行超时和重传。

 

上半场如何实施超时与重传？

MQ不丢消息，究竟是怎么实现的？

 

MQ上半场的1或者2或者3如果丢失或者超时，MQ-client-sender内的timer会重发消息，直到期望收到3，如果重传N次后还未收到，则SendCallback回调发送失败，需要注意的是，这个过程中MQ-server可能会收到同一条消息的多次重发。

 

下半场如何实施超时与重传？

MQ不丢消息，究竟是怎么实现的？

 

MQ下半场的4或者5或者6如果丢失或者超时，MQ-server内的timer会重发消息，直到收到5并且成功执行6，这个过程可能会重发很多次消息。

画外音：一般采用指数退避的策略，先隔x秒重发，2x秒重发，4x秒重发，以此类推。

需要注意的是，这个过程中MQ-client-receiver也可能会收到同一条消息的多次重发。

 

总结

 

MQ是系统之间的解耦利器，MQ为了保证消息必达，架构设计方向为：

（1）消息收到先落地；

（2）消息超时、重传、确认保证消息必达；

 

遗留问题：

上半场，MQ-server可能收到重复的消息；下半场，MQ-client-receiver，也就是消息接收方可能收到重复的消息，怎么办？

画外音：如何去重，如何幂等设计。

大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
消息队列-MQ
Roc的博客
07-16 314
在Java中，MQ指的是消息队列（Message Queue），是一种应用程序之间异步通信的技术。解耦：允许服务之间松散耦合，增强系统的灵活性和扩展性。异步通信：提高系统响应速度和吞吐量，因为发送者不需要等待接收者处理完成。负载均衡：可以通过消息队列平衡处理任务的负载，优化资源使用。容错性：提高系统的可靠性和稳定性，通过消息持久化可以防止数据丢失。
mq简单实现
qq_38009686的博客
08-16 1029
mq简单实现（为网络简单版） public class MqServer { public static void main(String[] args) throws InterruptedException { //定义消息队列容器 LinkedBlockingDeque<String> blockingDeque = new LinkedBlockingDeque<>(); //创建生产者线程 Thread
RabbitMQ实现消息可靠性的三种方法（发送者可靠性，MQ可靠性，消费者可靠性）
一个好学的低级程序猿
08-16 1706
rabbitmq实现业务可靠性的一般方法
activeMq两种实现方式
weixin_30263277的博客
07-06 157
第一种：点对点 #发布者 public class Producer { private static final String userName = ActiveMQXAConnectionFactory.DEFAULT_USER; private static final String password = ActiveMQXAConnectionF...
【消息队列】MQ 是什么？为什么用MQ？怎么实现MQ？
代码的魅力，根本走不出来
01-16 2917
消息队列（MQ） 是一种在分布式系统中，用于在应用程序之间传递消息的通信机制。消息队列的实现可以是基于代理的，也可以是基于发布/订阅模式的。选择适当的消息队列系统和模型取决于应用程序的需求。开源的消息中间件，实现了Java Message Service（JMS）。内存数据库，可以用作消息队列的代替品，支持发布/订阅模式。开源的消息队列系统，实现了高级消息队列协议（AMQP）。分布式流处理平台，支持高吞吐量的分布式消息系统。亚马逊提供的托管消息队列服务，适用于云环境。持续更新，关注，后续更精彩哦~
MQ是如何保证消息不丢失的,你这样回答面试官一定说I Want U
weixin_39555954的博客
03-09 7016
目录 序言 RocketMQ RabbitMQ Kafka 序言 又到了金三银四的找工作阶段，你一定被问过MQ是如何保证消息可靠性的或者MQ是如何保证消息不丢失的。我们都知道MQ发送消息一般分为三个阶段分别是生产者发送消息到MQ、MQ存储消息到内存或者硬盘，消费者消费消息。但是这三个过程都有可能因为种种原因导致消息丢失。例如在生产者发送阶段，这个阶段可能由于网络延迟导致mq消息丢失；存储阶段，Broker将消息先放到内存，然后再根据刷盘策略持久化到硬盘上，但是刚收到消息，还没持久化.
MQ保证读写消息不丢失，这个你都不会就等着被开除吧...
石杉的架构笔记
12-26 745
这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。
RabbitMQ是如何保证消息可靠性的？——Java全栈知识（16）
dghehe的博客
05-07 1246
每个只能配置一个，因此我们可以在配置类中统一设置。我们在 publisher 模块定义一个配置类：log . error("触发return callback,");} });} }log . error("触发return callback,");} });} }Slf4j;import orglog . error("触发return callback,");} });} }
JAVA实现MQ发送接收消息详解
03-22
JAVA实现MQ发送接收消息详解 MQ配置文档 MQ配置
RabbitMq的几种方式的实现
weixin_33693070的博客
03-13 215
2019独角兽企业重金招聘Python工程师标准>>> ...
RabbitMQ如何保证消息的可靠性？
weixin_59297657的博客
04-09 459
在了解RabbitMQ如何保证消息的可靠性之前，我们可以先看一下RabbitMQ的执行的过程。 在一次消息的传递之间，要经历上面的几个步骤，如果我们要保证消息的可靠性，那么必须在这些过程中入手，分为三个部分：(1)生产者 (2)MQ本身 (3)消费者 生产者将我们的数据发送到RabbitMQ的时候，在传输数据的过程中，可能会导致数据的丢失，那么我们怎么样才能保证传输的时候数据不丢失呢？RabbitMQ提供了以下两种处理方式。 我们可以使用RabbitMQ提供的事务功能，
RabbitMQ可靠消息队列实现
World哥
07-04 589
RabbitMQ安装架构核心概念ServerConnectionExchangeBindingRouting keyQueueSpringBoot整合SpringBoot版本mvaen生产者ymlRabbitMqConfigMessageProducerConfirmCallbackReturnCallback队列消息信息常量重新投递消费者ymlMqConsumer 安装 基于Dokcer容器 架构 核心概念 Server 又称Broker, 接受客户端的连接，实现AMQP实体服务，这里指RabbitMQ
rabbitMQ高级
jikeyeka的博客
08-20 791
生产者消息确认 消息持久化 消费者消息确认 消费失败重试机制
mq使用场景、不丢不重、时序性
weixin_30832983的博客
05-13 434
mq使用场景、不丢不重、时序性、削峰 参考： http://zhuanlan.51cto.com/art/201704/536407.htm http://zhuanlan.51cto.com/art/201703/535090.htm http://zhuanlan.51cto.com/art/201704/536306.htm http://zhuanlan.51cto.co...
消息队列mq的原理及实现方法
热门推荐
一个蜀黍的博客
03-28 2万+
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。 消息中间件概述消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道...
MQ简介以及RabbitMQ模式具体实现
weixin_50313429的博客
03-10 2612
消息队列 MQ概述 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信 应用之间的远程调用 加入MQ后应用之间的调用 MQ优势 1.应用解耦 MQ相当于一个中介，生产方通过MQ与消费方交互，它将应用程序进行解耦合 系统的耦合性越高，容错性就越低，可维护性就越低 使用 MQ 使得应用间解耦，提升容错性和可维护性 2.任务异步处理 将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理。提高了应用程序的响应时
一个简单的消息中间件MQ实现
Just-For-Fun
03-11 908
1. 消息处理中心类：   此类是处理消息逻辑的基本类，若从MQ客户端接收的消息为CONSUME，则为消费消息；若从MQ客户端接收的消息不为CONSUME，则为生产消息。 package com.richinfo.demo; /** * 消息处理中心类 * * Created by WangXJ * 2019-02-20 10:57 */ import java.util.concurre...
java实现mq消息丢失，本地消息表
最新发布
05-17
### Java MQ 消息丢失解决方案：基于本地消息表的设计 为了有效解决 Java 环境下的消息队列（MQ）中可能发生的丢失问题，可以通过引入 **本地消息表** 来增强系统的可靠性和一致性。以下是具体的实现思路和技术细节： #### 1. 使用本地消息表记录状态 在业务系统中创建一张用于存储消息状态的本地数据库表 `message_log`，其结构如下： | 字段名 | 类型 | 描述 | |----------------|------------|--------------------------| | id | BIGINT | 主键 | | msg_id | VARCHAR | 消息唯一标识符 | | status | INT | 消息状态 (0:待发送, 1:已发送, 2:失败) | | content | TEXT | 消息体 | | create_time | TIMESTAMP | 创建时间 | | update_time | TIMESTAMP | 更新时间 | 此表的作用在于跟踪每条消息的状态变化过程。 #### 2. 生产者端设计 当生产者需要向 MQ 发送一条新消息时，应遵循以下流程： - 首先将该消息插入到本地消息表中，并标记初始状态为“待发送” (`status=0`)。 - 接着尝试调用 MQ 客户端 API 进行消息发布操作。 - 如果成功收到 MQ 返回的 ACK，则更新本地消息表中的状态为“已发送” (`status=1`)；否则保持原状态不变并触发补偿机制。 对于未完成的消息（即仍处于 `status=0` 或超时未确认的情况），可定期执行扫描任务以重新提交这些遗留项至目标队列中去[^3]。 ```java // 示例代码片段展示如何保存消息日志以及发送消息 public class Producer { private static final Logger logger = LoggerFactory.getLogger(Producer.class); public void sendMessage(String queueName, String messageContent){ try{ // Step 1: Save the message into local DB with initial state 'pending' long messageId = saveToLocalDB(messageContent); // Step 2: Send message to RabbitMQ and wait for confirmation boolean isSentSuccessfully = sendToRabbitMQ(queueName,messageContent); if(isSentSuccessfully){ markAsSentInLocalDB(messageId); } }catch(Exception e){ log.error("Error occurred while sending message",e); } } private Long saveToLocalDB(String messageContent){ // Insert logic here... return generatedMessageID; } private Boolean sendToRabbitMQ(String queueName,String messageContent){ Channel channel = establishConnection(); try{ channel.basicPublish("",queueName,null,messageContent.getBytes()); return true; }finally{ closeChannelAndConnection(channel); } } private Void markAsSentInLocalDB(Long messageId){ // Update logic here... } } ``` #### 3. 消费者端设计 消费者接收到消息后需严格按照顺序处理完毕后再返回 ACK 给 MQ 。一旦发生异常中断等情况 ，则依靠手动 Acknowledgment Mode 让 Broker 能够感知到此次消费失败从而再次派发相同内容给其他实例或者等待后续重试机会到来为止[^2]。 另外值得注意的是，在某些特殊场景下还可以考虑利用分布式事务管理器来协调跨服务之间的交互行为达成最终一致性的目的[^4]。 --- ### 总结 通过以上方式不仅可以极大程度减少因网络波动等原因造成的临时性丢包现象的发生几率同时也提供了事后追查依据以便快速定位问题所在位置进而采取相应补救措施加以修复恢复正常运转秩序[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值