SpringBoot与RocketMQ深度整合:多生产者动态配置与Topic路由策略实战

springboot整合rocketmq,支持多连接生产者和消费者配置。不同topic适配不同业务处理类 1.代码仓库 rocketmq版本4.5.2 直接上代码,下面再逐步讲解,仓库地址 本地启动后,访问swagger地址测试,http://127.0.0.1:8099/mq/swagger-ui/index.html 2.创建发生消息生产者 引入pom.xml坐标 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactI 阅读详情

1. 为什么需要多生产者动态配置?

在实际业务中,我们经常会遇到这样的场景:一个SpringBoot应用需要向多个RocketMQ集群发送消息,或者同一个集群中不同业务模块需要使用独立的生产者实例。这时候如果只用单一生产者配置,就会面临几个痛点:

  • 环境隔离问题:开发、测试、生产环境使用不同的NameServer地址,硬编码在代码中需要频繁修改
  • 资源竞争:所有业务共用一个生产者实例,某个业务流量激增可能影响其他业务
  • 配置僵化:每次新增生产者都需要改代码重启服务

我去年负责的电商平台项目就遇到过这种情况。订单服务和库存服务虽然都用RocketMQ,但订单消息需要保证高优先级处理,而库存更新可以接受一定延迟。如果混用同一个生产者,在双十一大促时订单消息就可能被库存消息阻塞。

2. YML多生产者配置实战

2.1 基础配置模板

在application.yml中配置多个生产者实例(以RocketMQ 4.9.4为例):

rocketmq:
  producers:
    - producerId: orderProducer  # 生产者唯一标识
      groupName: order_group     # 生产者组名
      namesrvAddr: 192.168.1.10:9876
      maxMessageSize: 8192       # 8MB
      sendMsgTimeout: 5000       # 5秒超时
      retryTimes: 3              # 失败重试次数
    - producerId: inventoryProducer
      groupName: inventory_group  
      namesrvAddr: 192.168.1.20:9876
      vipChannelEnabled: false   # 禁用VIP通道

关键参数说明:

  • producerId:在代码中获取生产者的唯一键
  • vipChannelEnabled:生产环境建议关闭,避免网络策略问题
  • maxMessageSize:超过这个值会抛异常,默认4MB

2.2 配置类解析

创建配置映射类时,建议用@ConfigurationProperties校验参数:

@Data
@ConfigurationProperties(prefix = "rocketmq")
public class MqProducerConfig {
    @NotEmpty
    private List<ProducerConfig> producers;
    
    @Data
    public static class ProducerConfig {
        @NotBlank
        private String producerId;
        @NotBlank 
        private String groupName;
        @NotBlank
        private String namesrvAddr;
        @Min(1024)
        private int maxMessageSize = 4096;
        @Min(1000)
        private int sendMsgTimeout = 3000;
        @Min(0)
        private int retryTimes = 2;
        private boolean vipChannelEnabled = false;
    }
}

3. 生产者动态路由策略

3.1 启动时初始化

通过ApplicationListener在应用启动时初始化所有生产者:

@Component
@RequiredArgsConstructor
public class MqProducerInitializer implements ApplicationListener<ApplicationReadyEvent> {
    private final MqProducerConfig config;
    private static final Map<String, DefaultMQProducer> producerMap = new ConcurrentHashMap<>();

    @Override
    public void onApplicationEvent(ApplicationReadyEvent event) {
        config.getProducers().forEach(conf -> {
            DefaultMQProducer producer = new DefaultMQProducer(conf.getGroupName());
            producer.setNamesrvAddr(conf.getNamesrvAddr());
            producer.setMaxMessageSize(conf.getMaxMessageSize());
            producer.setSendMsgTimeout(conf.getSendMsgTimeout());
            producer.setRetryTimesWhenSendFailed(conf.getRetryTimes());
            producer.setVipChannelEnabled(conf.isVipChannelEnabled());
            
            try {
                producer.start();
                producerMap.put(conf.getProducerId(), producer);
                log.info("RocketMQ producer started: {}", conf.getProducerId());
            } catch (MQClientException e) {
                log.error("Failed to start producer: " + conf.getProducerId(), e);
                throw new RuntimeException(e);
            }
        });
    }
    
    public static DefaultMQProducer getProducer(String producerId) {
        return producerMap.get(producerId);
    }
}

3.2 业务层使用示例

在Service层根据业务类型选择生产者:

@Service
@RequiredArgsConstructor
public class OrderService {
    private final OrderDao orderDao;
    
    public void createOrder(OrderDTO order) {
        // 1. 保存订单
        Order entity = orderDao.save(convertToEntity(order));
        
        // 2. 发送MQ消息
        Message message = new Message(
            "ORDER_TOPIC",
            "CREATE",
            entity.getOrderNo(),
            JSON.toJSONBytes(entity)
        );
        
        try {
            SendResult result = MqProducerInitializer.getProducer("orderProducer")
                .send(message);
            log.info("订单消息发送成功: {}", result);
        } catch (Exception e) {
            log.error("订单消息发送失败", e);
            // 这里应该触发补偿机制
        }
    }
}

4. Topic路由与消费者适配

4.1 消费者动态配置

application.yml配置示例:

rocketmq:
  consumers:
    - groupName: order_consumer
      namesrvAddr: 192.168.1.10:9876
      topics:
        - topicName: ORDER_TOPIC
          tagName: "CREATE || PAY"
      consumeThreadMin: 8  # 根据CPU核数调整
      consumeThreadMax: 16
    - groupName: inventory_consumer
      namesrvAddr: 192.168.1.20:9876  
      topics:
        - topicName: INVENTORY_TOPIC
          tagName: "*"

4.2 消息处理器映射

通过Spring的Bean命名规则实现自动映射:

@Component("mqHandler.ORDER_TOPIC")
@Slf4j
public class OrderMessageHandler implements MessageHandler {
    @Override
    public void handle(MessageExt message) {
        Order order = JSON.parseObject(message.getBody(), Order.class);
        log.info("处理订单消息: {}", order.getOrderNo());
        // 实际业务逻辑...
    }
}

@Component("mqHandler.INVENTORY_TOPIC")  
public class InventoryMessageHandler implements MessageHandler {
    // 实现略...
}

4.3 消费者启动逻辑

@Override
public void onApplicationEvent(ApplicationReadyEvent event) {
    config.getConsumers().forEach(conf -> {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(conf.getGroupName());
        // 基础配置...
        
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            MessageExt msg = msgs.get(0);
            String handlerName = "mqHandler." + msg.getTopic();
            
            try {
                MessageHandler handler = applicationContext.getBean(handlerName, MessageHandler.class);
                handler.handle(msg);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            } catch (Exception e) {
                log.error("消息处理失败", e);
                return ConsumeConcurrentlyStatus.RECONSUME_LATER;
            }
        });
        
        // 订阅Topic...
    });
}

5. 生产环境注意事项

  1. 连接池配置:

    • 生产者建议设置clientCallbackExecutorThreads(默认CPU核数)
    • 消费者线程数计算公式:核数 * (1 + (io耗时/cpu耗时))
  2. 消息轨迹:

    producer.setTraceDispatcher(new AsyncTraceDispatcher(
        conf.getGroupName(), 
        TraceDispatcher.Type.PRODUCE,
        conf.getNamesrvAddr()
    ));
    
  3. 监控指标:

    • 通过DefaultMQProducer.getDefaultMQProducerImpl().getmQClientFactory()获取内部指标
    • 关键监控项:发送耗时、失败次数、队列深度
  4. 优雅停机:

    @PreDestroy
    public void destroy() {
        producerMap.values().forEach(producer -> {
            producer.shutdown();
            log.info("Producer {} shutdown", producer.getProducerGroup());
        });
    }
    

6. 性能优化实战案例

在某物流系统中,我们通过以下优化将消息吞吐量提升了3倍:

  1. 批量发送:

    List<Message> messages = orders.stream()
        .map(order -> new Message(/*...*/))
        .collect(Collectors.toList());
    producer.send(messages);
    
  2. 压缩大消息:

    message.setBody(CompressUtils.gzip(data));
    message.putUserProperty("compress", "gzip");
    
  3. 消费者并行度:

    consumeThreadMin: 16
    consumeThreadMax: 32
    pullBatchSize: 32  # 每次拉取数量
    

踩过的坑:曾经因为没设置maxMessageSize导致大体积物流轨迹消息发送失败,后来统一在接入层做了消息分片。

SpringBoot+Vue全栈酒店管理系统开发实践 现代酒店管理系统作为服务业数字化转型的核心系统,其技术实现涉及前后端分离架构、微服务设计等关键技术。SpringBoot凭借其自动配置和快速开发特性,配合Vue的响应式前端框架,能够高效构建多终端适配的业务系统。在分布式系统架构下,需要特别关注动态定价算法、Saga模式事务处理等核心业务逻辑的实现。这类系统典型应用于智慧酒店场景,实现客房预订、商城购物、服务调度的全流程闭环,其中接口设计规范、性能优化策略、安全防护体系都是工程实践的重点。通过容器化部署和全链路监控,可确保系统在高并发场景下的稳定性,解决如库 阅读详情

相关推荐

OrangePi Kunpeng Pro 安装 ROS2 + Gazebo

OrangePi Kunpeng Pro 的优点很明显,内置openEuler,配备PD电源,做到开箱即用;板子设计也不错,风扇噪音不大,散热良好,昇腾芯片又确保小板子的性能,接口丰富是这类板子共同的优点,也很好的继承了下来,甚至还可以外接固态,可靠性大大提升。使用起来,哪怕不用openEuler的话,也可以很方便的刷Ubuntu来实现一些需要依赖的开发工作,这次没有跑AI模型,所以对算力的优势还没有很明显的感受,下次可以试一下yolo跑跑看。

Arcan 1827

SpringBoot与RocketMQ深度整合:多生产者消费者动态配置与业务适配实践

本文深入探讨了SpringBoot与RocketMQ的深度整合实践,重点介绍了多生产者消费者动态配置与业务适配方案。通过电商大促场景下的实战案例,详细解析了YML配置设计、连接池管理、动态路由实现等关键技术点,帮助开发者高效实现消息队列的动态扩展与业务适配。

weixin_29276847的博客 411

Anaconda+清华源加速PyTorch GPU环境安装与CUDA版本匹配指南

深度学习环境管理常面临依赖冲突与下载缓慢问题,通过虚拟环境隔离与镜像源加速可显著提升效率。Anaconda利用conda机制创建独立Python环境,避免包版本冲突;清华源通过国内镜像同步大幅提高下载速度。GPU版PyTorch安装需严格匹配CUDA、cuDNN与显卡驱动版本,否则易出现CUDA不可用错误。该方案适用于图像分割、目标检测等需多版本PyTorch并存的场景,能快速搭建稳定GPU训练环境。本文详解Anaconda安装、清华源配置及PyTorch GPU版安装全流程。

weixin_30522983的博客 238

Spring Boot集成RocketMQ全部种类消息实现+生产者和消费者配置信息介绍(内含5.x新增可自定义时间的定时/延时消息)

Spring Boot集成RocketMQ全部种类消息实现+生产者和消费者配置信息介绍(内含5.x新增可自定义时间的定时/延时消息)

kerwin的博客 1万+

硬件测试之—纹波测试为什么不要使用接地夹子

示波器为什么不推荐使用接地夹

qq_19294353的博客 2991

手把手教你用Microsoft AEC Challenge数据集训练自己的回声消除模型(附完整代码)

本文详细介绍了如何使用Microsoft AEC Challenge数据集训练专业的回声消除模型,包括环境准备、数据清洗、模型架构设计、训练流程和实际部署注意事项。通过完整的代码示例和实战指南,帮助开发者快速掌握AEC技术,提升语音通信系统的回声消除效果。

weixin_27697385的博客 461

RocketMQ概念模型

RocketMQ概念模型 一 前言   对于任何一款中间件产品而言,清晰的概念模型是帮助用户正确理解使用它的关键。由于RocketMQ并没有遵循业界现有的JMS或AMQP规范,而且功能集比后两者更加丰富,描述该中间件产品的概念模型是一项比较有挑战的任务。RocketMQ的官方文档《RocketMQ 原理简介》对产品的概念模型给出了比较简洁而清晰的介绍。   本文将针对用户在使用RocketM...

alan_liuyue的博客 922

电流互感器的使用分析

有关电流互感器使用的注意事项,回头再看,耳目一新。

qq_46757048的博客 2万+

Spring boot整合RocketMq(最详细步骤)

事务消息是在分布式系统中保证最终一致性的两阶段提交(TCC模式)的消息实现。他可以保证本地事务执行与消息发送两个操作的原子性,也就是这两个操作一起成功或者一起失败。其次,事务消息只保证消息发送者的本地事务与发消息这两个操作的原子性,因此,事务消息只涉及到消息发送者,对于复杂的分布式事务,RocketMQ提供的事务消息也是目前业内最佳的方案事务消息的关键是实现了一个事务监听器,这个事务监听器就是事务消息的关键控制器(RocketMQLocalTransactionListener)。

m0_64473908的博客 3057

中标麒麟,postgres报错invalid value for parameter "timeZone":"Asia/Beijing"

在中标麒麟服务器上,安装postgres,启动tomcat容器时,报invalid value for parameter "timeZone":"Asia/Beijing"。 查看postgres运行日志,也报同样的错误。 报错原因:服务器的时区,在Postgres支持的时区目录中找不到。当时在服务器上信息为Beijing 解决步骤: 1. cat /etc/sysconfig/cloc

u010213931的博客 7926

openharmony之UniProton内核技术揭秘:鸿蒙面向工业控制领域的RTOS设计之道

UniProton是鸿蒙操作系统面向工业控制领域的轻量级实时操作系统(RTOS),专为资源受限的嵌入式设备设计。作为鸿蒙生态的重要组成部分,UniProton提供了高效的实时任务调度、内存管理和IPC机制,满足工业控制场景对实时性和可靠性的严格要求。想象一下,UniProton就像一个超级聪明的管家,管理着电子设备里所有的工作。让你的智能手表既能显示时间,又能接收消息让家里的扫地机器人既能避开障碍物,又能记住哪里已经打扫过了让工厂里的机器人手臂既能精确地抓取东西,又能快速地完成任务实时性强。

m0_67505153的博客 884

java八股文极速版

时间和空间的权衡 值越高空间开销小但是增加了查找开销服务于从Key映射到index的Hash算法,在性能和内存的使用上取平衡,实现一个尽量均匀分布的Hash函数,选取16,是通过位运算的方法进行求取的。线程安全:当多线程执行同一段程序的时候,如果发生了和预期结果不一致的情况,就是线程不安全的,如果和预期结果一致就是线程安全的,可以加锁解决(把并行运行的线程变成串行化执行)。1.加锁 利用Synchronized或者ReenTrantLock来对不安全对象进行加锁。

PassionAnytime的博客 383

基于MATLAB实现语音信号MFCC特征提取(附完整代码)

你有没有想过你的智能手机是如何理解语音指令的?或者 Alexa 和 Siri 等语音助手如何处理您的命令?这种卓越能力背后的机制在很大程度上归功于一种称为 Mel 频率倒谱系数 (MFCC) 的方法。语音识别技术允许机器解释人类语音,将口语转换为计算机可以操纵的格式。这项技术对于开发交互式和响应式 AI 至关重要,例如声控助手、自动化客户服务系统和实时翻译服务。MFCC 代表 Mel 频率倒谱系数。这是用于自动语音和说话人识别的功能。

baidu_34971492的博客 1315

SpringBoot 整合 RocketMQ 实现消息生产与消费

RocketMQ 是阿里开源的分布式消息中间件,经过双11高并发场景验证,核心优势是高吞吐量、高可靠性、低延迟,解决分布式系统中的异步解耦、流量削峰、数据一致性问题,比 RabbitMQ 更适合高并发业务场景。修改 bin 目录下的 runbroker.cmd,将 JVM 内存配置改小(如 -Xms512m -Xmx512m -Xmn256m),保存后重新启动。重点实现「普通消息」的生产与消费(入门首选),代码可直接复制,注释详细,跟着操作就能跑通,后续可扩展事务消息、延迟消息。

。。。 2098

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Rocketmq使用手册第一篇(springboot整合rocketmq)

rocketmq默认消息发送16次后数据会自动进入死信队列,每次重试的偏移量会在重试队列记录,修改重试的时间间隔以及自定义是否直接进入死信队列这些配置再springboot中暂时没有提供可用的接口,官方建议使用默认的方式,如果有此业务需求,可以通过支持原生Listener的使用方式自己控制ConsumeConcurrentlyStatus实现,具体实现代码如下/***RocketMQPush模式消费*/@Service@RocketMQMessageListener(topic=“...

m0_54883970的博客 4522

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

springboot整合RocketMQ生产者

1.添加pom文件并添加配置文件。4.检查消息是否正常送达。2.发送消息(方式一)3.发送消息(方式二)

u013008898的博客 503

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

SpringBoot整合RocketMQ,高手都是这么玩的

今天我们来讨论如何在项目开发中优雅地使用RocketMQ。本文分为三部分,第一部分实现SpringBoot与RocketMQ的整合,第二部分解决在使用RocketMQ过程中可能遇到的一些问题并解决他们,第三部分介绍如何封装RocketMQ以便更好地使用。

王不困的博客 4097

【SpringBoot】第二篇:RocketMq使用

背景:本文会介绍多种案例,教大家如何使用rocketmq。一般rocketmq使用在微服务项目中,属于分模块使用。这里使用springboot单体项目来模拟使用。本文以windows系统来做案例。

主要从事JAVA开发,目前是优快云博客Java领域新星创作者、阿里云博客专家、担任公司研发经理、技术负责人等。热爱编程,喜欢在Python、C、C++领域探索。 2225

SpringBoot+RocketMQ多连接实战:如何优雅管理不同业务Topic的生产者和消费者?

本文深入探讨了在SpringBoot项目中实现RocketMQ多连接管理的实战方案。针对复杂业务场景下单连接模式的局限性,文章详细介绍了如何通过配置驱动的方式,优雅地管理不同业务Topic的生产者和消费者,实现资源隔离、配置灵活与运维精细化,从而提升系统的可维护性和扩展性。

grafana6viz的博客 675

Spring Boot整合RocketMQ:生产级最佳实践指南

在分布式系统架构中,消息队列是实现系统解耦、流量削峰的核心组件。本文将通过完整代码示例,深度解析Spring Boot集成RocketMQ的最佳实践方案。

m0_53626105的博客 2022

【RocketMQ】Springboot集成RocketMQ(三)

目录 新建工程 新建model 新建生产者 场景枚举类 新建消费者 修改配置文件 新增测试类 新建工程 新建一个SpringBoot项目,引入RocketMQ 的 pom <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifa

蓝天之枫 978

SpringBoot整合RocketMQ

(1)pom.xml中引入rocketmq-spring-boot-starter相关jar包(springboot 2.4.2 rocketmq 2.1.1)(2)application-dev.yml配置文件中配置消费者信息(rocket my-producer-group)(1)pom和生产者一样引用RocketMQ(rocketmq-spring-boot-starter 2.1.1)mqproductservice -- 消息生产服务(提供接口用于创建消息到MQ中)

qq_43985303的博客 9724

RocketMQ进阶:SpringBoot配置RocketMQ、延迟消息、消息可靠性、消息过滤

本文通过demo方式讲解了RocketMQ的SpringBoot配置方式及使用,然后介绍了一些对应API的应用,对于日常工作来说,掌握这些内容可以应付大部分使用MQ的工作场景。

雅俗共赏的博客 9491

Springboot整合RocketMQ之生产者

顺序消息是一种对消息发送和消费顺序有严格要求的消息。对于一个指定的Topic,消息严格按照先进先出(FIFO)的原则进行消息发布和消费,即先发布的消息先消费,后发布的消息后消费。在 Apache RocketMQ 中支持分区顺序消息,如下图所示。我们可以按照某一个标准对消息进行分区(比如图中的ShardingKey),同一个ShardingKey的消息会被分配到同一个队列中,并按照顺序被消费。需要注意的是 RocketMQ 消息的顺序性分为两部分,生产顺序性和消费顺序性。

JemeryShen的专栏 1872

springboot+RocketMQ实现(生产者和消费者)

1)pom配置 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>4.3.0</version> </dependenc...

zhoupan2008的专栏 7620
上一篇: 横向评测:vue-simple-calendar与其他5款Vue日历组件的优缺点对比
下一篇: Gradle构建加速:阿里云镜像一站式配置指南
vim8coder
博客等级 码龄1天 0粉丝 1693原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值