如何保证消息的可靠性传输啊?要是消息丢失了怎么办啊?

本文探讨了RabbitMQ消息丢失的三种常见情形,包括生产者在消息传递过程中的错误、MQ接收到但未持久化消息时的故障、以及消费者处理消息前的意外中断。文中详细解释了如何通过事务机制、confirm模式、持久化设置和ack机制来避免这些情况,确保消息的可靠传输。

RabbitMQ消息丢失的3种情况

在这里插入图片描述
生产者在消息传入的过程中丢失
a)RabbitMQ提供的事务功能,就是生产者发送数据之前打开RabbitMQ事务channel.txSelect,然后发送消息,如果消息没有成功被RabbitMQ接收到,那么生产者会收到异常报错,此时就可以回滚事务channel.txRollback,然后重试发送消息;如果收到了消息,那么可以提交事务channel.txCommit。
b)abbitMQ的消息别丢,可以开启confirm模式,在生产者那里设置开启confirm模式之后,**你每次写的消息都会分配一个唯一的id,然后如果写入了RabbitMQ中, RabbitMQ会给你回传一个ack消息,告诉你说这个消息ok了。**如果RabbitMQ没能处理这个消息,会成为你的一个nack接口,告诉你这个消息接收失败,你可以重试。而且你可以结合这个机制自己在内存里维护每个消息id的状态,如果超过一定时间还没接收到这个消息的替代,那么你可以重发。
事务机制和confirm机制最大的不同在于,事务机制是同步的,你提交一个事务之后会分段在那儿,但是confirm机制是异步的,你发送一个消息之后就可以发送下一个消息,然后那个消息RabbitMQ接收了之后会变速箱您的一个接口通知你这个消息接收到了。
MQ接收到消息,暂时存储到内存中,还没有消费,自己挂掉了,将数据搞丢
RabbitMQ自己弄丢了数据,这个你必须开启RabbitMQ的持久化,就是消息写入之后会持久化到磁盘,哪怕是RabbitMQ自己挂了,恢复之后会自动读取之前存储的数据。

设置持久化有两个步骤:

创建队列的时候将其设置为持久化
这样就可以可以保证RabbitMQ持久化队列的元数据,但是它是不会持久化队列里的数据的。
第二个是发送消息的时候将消息的deliveryMode设置为2
就是将消息设置为持久化的,然后RabbitMQ就会将消息持久化到磁盘上去。
必须要同时设置这两个持久化才行,RabbitMQ哪怕是挂了,再次重启,也会从磁盘上重启恢复队列,恢复这个队列里的数据。

注意,RabbitMQ开启了持久化机制,也有一种可能,就是这个消息写到了RabbitMQ中,但是还没来得得及持久化到磁盘上,结果不巧,此时RabbitMQ挂了,就会导致内存不足里的一点点数据丢失。

所以,持久化可以跟生产者那边的confirm机制配合起来,只有消息被持久化到磁盘之后,才会通知生产者ack了,所以哪怕是在持久化到磁盘之前,RabbitMQ挂了,数据丢了,生产者收不到ack,你也是可以自己重发的。
消费者消费到了这个消息,还没有来得及处理,就挂了,MQ以为消息已经被处理啦

RabbitMQ提供的ack机制,简单来说,就是你必须**关闭RabbitMQ的自动ack,可以通过一个api来调用就行,**然后每次你自己的代码里确保处理完的时候,再在程序里ack一把。的话,如果你还没处理完,就不没有ack了?那RabbitMQ的就认为你还没处理完,这个时候的RabbitMQ会把这个消费分配给别的消费者去处理,消息是不会丢的。
在这里插入图片描述

### RabbitMQ 确保消息可靠性传输的最佳实践 #### 生产者确认机制 为了确保消息能成功发送至 RabbitMQ 服务器,生产者应启用确认模式。当消息被写入内存并准备投递给至少一个消费者时,RabbitMQ 将向发布者返回一条确认信息。这种方式可以有效预防因网络波动或其他异常情况造成的消息丢失[^2]。 ```python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 开启 publisher confirms 模式 channel.confirm_delivery() ``` #### 消息持久化设置 即使消息已抵达队列内部,若仅保存于内存之中,在遭遇服务崩溃的情况下仍会面临数据遗失的风险。因此建议开启消息持久化选项,使得每条记录都被同步到磁盘文件里,以此保障即便发生意外停机也能恢复未处理完毕的信息流[^3]。 ```python properties=pika.BasicProperties(delivery_mode=2,) # 设置 delivery_mode 为 2 表明该消息需要持久化 channel.basic_publish(exchange='', routing_key='task_queue', body=message, properties=properties) ``` #### 队列声明参数调整 创建队列时指定其具备持久属性同样重要,这样可使整个队列结构得以长期保留下来而不受临时性的节点重启影响。同时还可以考虑设定`x-max-priority`来支持优先级队列功能,以及利用死信交换器(`Dead Letter Exchanges`)增强系统的健壮性和灵活性。 ```python arguments={ 'x-message-ttl': 60000, # TTL (Time To Live), 单位毫秒 'x-dead-letter-exchange': 'dlx', # 死信转发给 dlx exchange } channel.queue_declare(queue='durable_queue', durable=True, arguments=arguments) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值