rocketMq - 神奇的32

本文探讨了RocketMQ在push模式下Consumer批量拉取消息的数量限制为32条的问题,详细介绍了问题背景及拉取过程的技术分析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

概述

    这篇文章主要是把push模式下consumer批量拉取消息数量单此最多32条的问题,这个问题是和组内的一个同事一起排查问题的时候得出的结论,我同事负责发现这个问题,我负责定位这个问题。


问题描述

    问题描述细节可以参考这篇文章,在push模式下consumer每次拉取的数目不超过32个:Rocketmq拉取pull消息分页数目测试,我这边把这篇文章的核心的测试结果贴出来。

img_13aa3112731f27c3f1d745d0acf88c2e.png
拉取数据量测试


拉取过程分析

    1、首先把数据拉取的过程分析一下,基本上把consumer端拉取和broker处理拉取的代码已经贴出来了。

    2、在代码最后部分我们把核心的数字32列出来了。


img_34928cdbf6437e89a3d540a950f79d09.png
client端拉取代码


img_815f3f10780b878a15bc944a68709ec5.png
broker注册的消费者


img_7ee60cd13777488981b7d4a28ecd9034.png
拉取过程-1


img_de12d1778710ea9f90a469e6e987eebd.png
拉取过程-2


img_c706c8422ee5c9272fb2dfefc9b4d8cd.png
拉取过程-3


img_2a35b36d3ba82706e506730119803abe.png
拉取过程-4
img_1a67358d9b6dd1edfa6b91421cd2d1d8.png
拉取过程-5


配置参数

    据说broker的配置参数有这个选项,但是事实上据说没效果,我本身没试过。

img_067b29be9d424605d117a3ad3753eeb2.png
`rocketmq-spring-boot-starter` 和 `rocketmq-client-java` 是 Apache RocketMQ 提供的两个不同层次的客户端工具,分别适用于不同的应用场景和开发框架。以下是两者的主要区别和特点: ### 1. 定位和适用场景 `rocketmq-client-java` 是 RocketMQ 的原生 Java 客户端库,提供了对 RocketMQ 所有核心功能的访问接口,包括消息的发送、消费、事务消息、延迟消息等。它适用于任何 Java 项目,尤其是那些没有使用 Spring Boot 框架的项目。开发者需要手动配置和管理 Producer、Consumer、NameServer 地址等参数,并处理底层的连接和异常[^1]。 `rocketmq-spring-boot-starter` 是基于 `rocketmq-client-java` 的封装,专为 Spring Boot 项目设计。它通过 Spring Boot 的自动配置机制简化了 RocketMQ 客户端的集成,使得开发者可以通过简单的配置文件(如 `application.yml` 或 `application.properties`)完成 RocketMQ 的初始化和使用。它更适合在 Spring Boot 项目中快速集成 RocketMQ 功能,减少了手动配置和管理的复杂性[^2]。 ### 2. 使用方式和配置 在使用 `rocketmq-client-java` 时,开发者需要手动编写代码来创建和管理生产者(`DefaultMQProducer`)和消费者(`DefaultMQPushConsumer`)实例,并在代码中指定 NameServer 地址、主题(Topic)、标签(Tag)等参数。例如: ```java DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName"); producer.setNamesrvAddr("127.0.0.1:9876"); producer.start(); ``` 而在 `rocketmq-spring-boot-starter` 中,这些配置可以通过 `application.yml` 文件完成: ```yaml rocketmq: producer: group: my-group namesrv-addr: 127.0.0.1:9876 ``` 同时,可以通过注入 `RocketMQTemplate` 来直接发送和消费消息,无需手动管理底层资源: ```java @Autowired private RocketMQTemplate rocketMQTemplate; rocketMQTemplate.convertAndSend("test-topic", "Hello RocketMQ"); ``` 这种方式极大地简化了 RocketMQ 在 Spring Boot 项目中的集成流程[^3]。 ### 3. 功能支持 `rocketmq-client-java` 提供了完整的 RocketMQ 功能支持,包括同步发送、异步发送、单向发送、模式、事务消息等。开发者可以根据需求灵活地使用这些功能。 `rocketmq-spring-boot-starter` 在此基础上进行了封装,虽然也支持大部分常用功能,但某些高级特性可能需要通过自定义配置或扩展实现。例如,在某些版本中可能存在对事务消息支持不完善的情况,或者需要额外的依赖配置来启用特定功能[^4]。 ### 4. 版本兼容性 由于 `rocketmq-spring-boot-starter` 是基于 `rocketmq-client-java` 的封装,因此其版本通常与 RocketMQ 核心客户端版本保持一致或存在一定的依赖关系。在使用时需要注意版本匹配问题,尤其是在 Spring Boot 3.x 等新版本框架中,可能会出现兼容性问题,需要选择合适的 starter 版本[^5]。 ### 5. 适用框架 `rocketmq-client-java` 适用于所有 Java 项目,包括传统的 Spring Framework 项目、Java EE 项目以及非 Spring 项目。 `rocketmq-spring-boot-starter` 则专为 Spring Boot 项目设计,提供了与 Spring Boot 生态系统的良好集成,如自动配置、依赖注入、健康检查等功能。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值