RocketMq源码解读（五）Consumer分析

最新推荐文章于 2025-06-08 02:14:02 发布

原创最新推荐文章于 2025-06-08 02:14:02 发布 · 485 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#RocketMq Consumser #PushConsumer #PullConsumer

RocketMq源码解读专栏收录该内容

8 篇文章

订阅专栏

本文深入解析RocketMQ中PullConsumer和PushConsumer的优缺点，对比两者在消息消费过程中的不同实现方式，以及各自的适用场景。通过代码示例，展示如何使用PullConsumer主动拉取消息和PushConsumer被动接收消息。

一、Consumer的类图结构

在RocketMq中，存在PullConsumer和PushConsumer两种消费端，

类图结构有：

可以看到，二者同实现了MQConsumer，只是在底层实现上有所不同。

PullConsumer的优缺点

优点
- Consumer主动从Broker拉取消息，所以消息的堆积处理比较简单
- 对于offset的维护，能自行手动维护，可以对单一消息多次消费
- 可以批量消费消息，适合慢消息消费
缺点
- pull模式下，取消息的过程需要用户自己写，从topic拿到MessageQueue集合后，遍历MessageQueue
- 对于每个MessageQueue，需要手动设置offset，并且下一次拉起消息的时候，要从本次末开始
- pull是长链接，如果没有消息，不是直接return，而是连接被挂起wait
- 海量的长连接，对服务器压力影响大

PushConsumer的优缺点

优点
- Consumer定时，或者根据MessageQueue的容量情况，定时从broker获取消息
- 用户只需要注册一个Listener接口，consumer接收到消息后，会主动调用listener接口消费
- offset的维护交给consumer，用户可以无感知
缺点
- 消费速度比较慢时，会有大量的消息在broker堆积
- consumer拉取到大量的无法处理的消息，会返回broker reject或者error，存在来回踢皮球的可能
- 不适合慢消费消息处理

代码示例：


public class PullConsumer {
    //保存上一次消费的消息位置
    private static final Map offsetTable = new HashMap ();

    public static void main(String[] args) throws MQClientException {
        //实例化pullConsumer
        DefaultMQPullConsumer consumer = new DefaultMQPullConsumer("consumer_test_group");
        consumer.setNamesrvAddr("127.0.0.1:9876");
        consumer.start();
        //拉取PullConsumerTopicTest topic下的所有消息队列
        Set<MessageQueue> mqs = consumer.fetchSubscribeMessageQueues("PullConsumerTopicTest");

        //遍历消息队列
        for (MessageQueue mq : mqs) {
            while (true) {
                try {
                    //设置上次消费消息下标
                    PullResult pullResult = consumer.pullBlockIfNotFound(mq, null, getMessageQueueOffset(mq), 32);
                    putMessageQueueOffset(mq, pullResult.getNextBeginOffset());
                    switch (pullResult.getPullStatus()) {
                        //根据结果状态，如果找到消息，批量消费消息
                        case FOUND:
                            List<MessageExt> messageExtList = pullResult.getMsgFoundList();
                            for (MessageExt m : messageExtList) {
                                System.out.println(new String(m.getBody()));
                            }
                            break;
                        case NO_MATCHED_MSG:
                            break;
                        case NO_NEW_MSG:
                            break SINGLE_MQ;
                        case OFFSET_ILLEGAL:
                            break;
                        default:
                            break;
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
        consumer.shutdown();
    }
    //保存上次消费的消息下标，这里使用了一个全局HashMap来保存
    private static void putMessageQueueOffset(MessageQueue mq, long offset) {
        offsetTable.put(mq, offset);
    }

    //获取上次消费的消息的下表
    private static long getMessageQueueOffset(MessageQueue mq) {
        Long offset = (Long) offsetTable.get(mq);
        if (offset != null) {
            return offset;
        }
        return 0;
    }
}

public class PushConsumerTest{

    public static void main(String[] args){
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("test_consumer_group");
        consumer.setConsumeThreadMin(5);
        consumer.setConsumeThreadMax(10);
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                ConsumeConcurrentlyContext context) {
                System.out.println(" Receive New Messages: " + msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });

        DefaultMQPushConsumerImpl defaultMQPushConsumerImpl = new DefaultMQPushConsumerImpl(consumer, null);
        defaultMQPushConsumerImpl.start();
    }
}