RocketMQ 消息重试与死信消息处理方案

原创已于 2024-10-09 10:06:29 修改 · 796 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#rocketmq #windows #java

于 2024-07-17 08:00:00 首次发布

MQ 专栏收录该内容

21 篇文章

订阅专栏

文章目录

在分布式系统中，消息中间件通常用于解耦和异步处理业务逻辑，RocketMQ 作为一种高性能的消息队列中间件，在系统稳定性和消息处理方面发挥着重要作用。然而，在消息处理过程中，可能会出现消费失败的情况，为了防止消息丢失和数据不一致，我们需要通过消息重试和死信队列来确保消息的可靠处理。本文将详细介绍如何使用 RocketMQ 实现消息重试和死信消息的处理策略。

1. 消息重试机制

消息重试是指当消息消费失败时，RocketMQ 会自动进行重试，直到消息被成功消费或达到最大重试次数。默认情况下，RocketMQ 对于消费失败的消息会进行最多 16 次重试，并以不同的时间间隔进行尝试。通过配置生产者和消费者的重试策略，可以更好地控制消息重试行为。

1.1 生产者端重试配置

在生产者端，可以设置消息发送失败时的重试次数。以下是生产者配置重试次数的代码示例：

public void retryProducer() throws Exception {
    DefaultMQProducer producer = new DefaultMQProducer("retry_producer_group");
    producer.setNamesrvAddr("localhost:9876");
    producer.start();
    // 设置同步发送失败时的重试次数
    producer.setRetryTimesWhenSendFailed(3);
    // 设置异步发送失败时的重试次数
    producer.setRetryTimesWhenSendAsyncFailed(3);

    // 创建并发送消息
    Message message = new Message("retryTopic", "TagA", "消息内容".getBytes());
    producer.send(message);
    System.out.println("消息发送成功");
    producer.shutdown();
}

说明：

setRetryTimesWhenSendFailed(int)：设置同步消息的最大重试次数。
setRetryTimesWhenSendAsyncFailed(int)：设置异步消息的最大重试次数。

1.2 消费者端重试配置

在消费者端，我们可以设置消息被消费失败后的最大重试次数。以下是消费者端配置重试次数的代码示例：

public void retryConsumer() throws Exception {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("retry-consumer-group");
    consumer.setNamesrvAddr("localhost:9876");
    consumer.subscribe("retryTopic", "*");
    // 设置最大重试次数
    consumer.setMaxReconsumeTimes(3);
    
    consumer.registerMessageListener((MessageListenerConcurrently) (list, context) -> {
        MessageExt messageExt = list.get(0);
        System.out.println("消息重试次数: " + messageExt.getReconsumeTimes());
        System.out.println("消息内容: " + new String(messageExt.getBody()));
        return ConsumeConcurrentlyStatus.RECONSUME_LATER; // 消费失败，继续重试
    });

    consumer.start();
    System.in.read();
}

说明：

setMaxReconsumeTimes(int)：设置消息的最大重试次数。超过最大重试次数后，消息将进入死信队列。

2. 死信消息（DLQ）处理

当消息重试次数达到设定的最大值时，该消息会被放入死信队列（Dead Letter Queue, DLQ）。在 RocketMQ 中，死信队列的主题名为 %DLQ% + 消费者组名。死信队列用于保存无法被正常处理的消息，以便后续进行人工干预和故障排查。

2.1 监听死信队列

我们可以创建一个专门用于监听死信消息的消费者，记录死信消息并进行后续处理。以下是监听死信消息队列的代码示例：

public void deadLetterConsumer() throws Exception {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("dead-letter-consumer-group");
    consumer.setNamesrvAddr("localhost:9876");
    consumer.subscribe("%DLQ%retry-consumer-group", "*"); // 订阅死信队列

    consumer.registerMessageListener((MessageListenerConcurrently) (list, context) -> {
        MessageExt messageExt = list.get(0);
        System.out.println("接收到死信消息: " + new String(messageExt.getBody()));
        System.out.println("记录到日志中，进行人工干预处理");
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    });

    consumer.start();
    System.in.read();
}

说明：

通过订阅死信主题（%DLQ%retry-consumer-group），我们可以捕获所有重试失败的消息，并进行记录和人工处理。

3. 综合方案：动态调整重试策略

在实际应用中，可以根据业务逻辑对消息的重试策略进行更灵活的处理。例如，当某个消息消费失败次数达到一定阈值时，可以将其标记为异常消息，并直接进入死信队列，避免资源浪费。以下是一个综合方案的代码示例：

public void customRetryConsumer() throws Exception {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("custom-retry-consumer-group");
    consumer.setNamesrvAddr("localhost:9876");
    consumer.subscribe("retryTopic", "*");
    consumer.setMaxReconsumeTimes(5);

    consumer.registerMessageListener((MessageListenerConcurrently) (list, context) -> {
        MessageExt messageExt = list.get(0);
        try {
            // 业务处理代码
            handleBusinessLogic(messageExt);
        } catch (Exception e) {
            int reconsumeTimes = messageExt.getReconsumeTimes();
            System.out.println("当前重试次数: " + reconsumeTimes);
            if (reconsumeTimes >= 5) {
                System.out.println("消息多次重试失败，记录日志并进入死信队列");
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; // 消息进入死信队列
            }
            return ConsumeConcurrentlyStatus.RECONSUME_LATER; // 再次重试
        }
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    });

    consumer.start();
    System.in.read();
}

private void handleBusinessLogic(MessageExt messageExt) {
    // 模拟业务处理失败
    throw new RuntimeException("业务处理异常");
}