RabbitMQ队列可靠性保证


问题1、

Producer在把Message发送Broker的过程中,因为网络问题等发生丢失,或者Message到了Broker,Consumer还没来得及消费,Broker挂掉了。

解决方法:
一般都是使用confirm机制以及持久化方式解决,
1)创建Queue的时候设置持久化,保证Broker持久化Queue的元数据,但是不会持久化Queue里面的消息,
2)这样只有Message支持化到磁盘之后才会发送confirm通知Producer ack进行确认。

这两步过后,即使Broker挂了,Producer肯定收不到ack的,就可以进行重发。

 

问题2、

Consumer有消费到Message,但是内部出现问题,Message还没处理,Broker以为Consumer处理完了,将Message标记为处理成功了。

解决方法:
就要关闭Consumer的autoack,消息处理完成后,进行手动ack。

 

问题3、

Consumer有消费到Message,但是由于各种原因,收到了多条重复的Message。

解决方法:
首先也是需要Consumber关闭autoack,消息处理完成后,进行手动ack。
同时在Consumer端记录已经处理过的Message编号,可以是消息ID之类的,下次再接收到相同消息ID的时候自动抛弃。并ack回复处理成功。

 

Producer端整体流程:

1、生产端发送message给Broker,持久化message,

2、Broker给Confirm响应返回生产端,

3、生产端接收到confirm,对message状态更改,

5、分布式定时任务获取message的状态,

6、如果消息不能成功投递,重新进行发送,记录重发次数,

7、当重发3次之后,将状态修改,只能人工进行干预。

 

Consumer端整体流程:

1、消费端监听到message,检查是否已处理过,确保不会重复处理过该消息,

2、对message进行各种业务或者入库处理,

3、业务处理完成之后,ack回复Queue,

4、如果处理失败或者长时间没有ack,那么Broker会从新推送message过来。

RabbitMQ 的死信队列(Dead Letter Queue, DLQ)是一种机制,用于处理无法正常消费的消息。通过合理配置 RabbitMQ 和应用程序的行为,可以大大提高消息的可靠性。以下是关于 RabbitMQ 死信队列如何提升消息可靠性的详细介绍: ### 死信队列的基本原理 当某些条件满足时,例如消息超时、消费者拒绝消息且不允许重新入队等,未被成功消费的消息会被路由到指定的死信交换机(Dead-Letter Exchange),然后进入对应的死信队列。 #### 提高消息可靠的几个关键点: 1. **TTL (Time To Live)** 每条消息都可以设置 TTL 值,在这个时间内如果没有被消费,则会成为“死信”并转入 Dead Letter Queue。 2. **Max Length** 如果队列达到最大长度限制,新进来的消息将会自动转交至 Dead Letter Queue。 3. **Basic.Reject 或 Basic.Nack** 当消费者的业务逻辑遇到异常导致无法完成对某条消息的处理,并显式地调用了 `basic.reject` 或者 `basic.nack` 而又设置了 `requeue=false` 参数之后,该消息也将被视为一条死信。 4. **绑定规则** 需要将普通工作队列与特定 dead-letter-exchange 关联起来;同样也需要设定从 dead-letter-exchange 到实际存储死信的目标队列之间的 binding key 等信息。 --- ### 实现步骤 为了确保整个流程具备高度稳定性及容错能力,通常需要按照以下顺序实施部署方案: 1. 创建主业务使用的常规 exchange 和 queue; 2. 设置上述 queue 相关策略如 x-dead-letter-exchange 及其 routing-key; 3. 单独建立专门接收所有死亡通知数据包的新 exchange 加上配套的专属 storage queue; 4. 最后编写程序监控此部分特殊资源状态以便及时介入修复潜在隐患。 --- ### 示例代码片段 - Python Pika Library ```python import pika # 连接服务器 connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 定义dead letter exchange dlx_exchange_name = 'my.dlx.exchange' channel.exchange_declare(exchange=dlx_exchange_name, exchange_type='direct') # 定义normal queue with dlx policy queue_normal_name = 'normal.queue' args = { 'x-message-ttl': 60000, 'x-dead-letter-exchange': dlx_exchange_name, 'x-dead-letter-routing-key': 'dlq.routing.key' } channel.queue_declare(queue=queue_normal_name, arguments=args) channel.queue_bind( exchange='main.exchange', queue=queue_normal_name, routing_key='normal.routing.key' ) # 定义dead letter queue queue_dlx_name = 'deadletter.queue' channel.queue_declare(queue=queue_dlx_name) channel.queue_bind( exchange=dlx_exchange_name, queue=queue_dlx_name, routing_key='dlq.routing.key' ) print("Setup complete.") ``` 以上示例展示了如何利用Python中的Pika库创建包含DLX支持的基础架构环境。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值