RabbitMQ: 使用MessageConverter高效处理消息

RabbitMQ:MessageConverter消息转换器 pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/ma 阅读详情

MessageConverter核心概念与问题背景


MessageConverter 是消息中间件中的关键组件,负责在字节数组与业务对象间进行双向转换
在NestJS中使用RabbitMQ时,默认的消息处理器接收的是Buffer类型(Node.js中的字节数组)

// 问题示例:默认处理器接收Buffer
@RabbitSubscribe({
  exchange: 'order_exchange',
  routingKey: 'order.created',
  queue: 'order_queue'
})
async handleRawMessage(rawData: Buffer) {
  // 需手动转换业务对象 
  const order = JSON.parse(rawData.toString());
  this.processOrder(order);
}

当尝试直接使用业务对象作为入参时:

@RabbitSubscribe({...})
async handleOrderMessage(order: OrderMessageDTO) { // 类型不匹配错误 
  this.processOrder(order);
}

将抛出参数类型不匹配异常,因为框架默认使用Buffer作为入参类型。

NestJS中的三种消息转换方案


1 ) 方案1:使用内置JSON转换器 + ClassMapper

技术栈:@golevelup/nestjs-rabbitmq + class-transformer

// src/rabbitmq/rabbitmq.module.ts
import { RabbitMQModule } from '@golevelup/nestjs-rabbitmq';
import { classToPlain, plainToClass } from 'class-transformer';
 
@Module({
  imports: [
    RabbitMQModule.forRoot(RabbitMQModule, {
      exchanges: [{ name: 'order_exchange', type: 'topic' }],
      uri: 'amqp://localhost:5672',
      connectionInitOptions: { wait: true },
      // 关键配置:自定义消息转换器
      deserializer: (message: Message) => 
        plainToClass(OrderMessageDTO, JSON.parse(message.content.toString())),
      serializer: (value: any) => 
        Buffer.from(JSON.stringify(classToPlain(value)))
    })
  ]
})
export class RabbitConfigModule {}

2 ) 方案2:自定义MessageConverter实现

适用场景:需要加密/特殊二进制协议处理

// src/message-converter/custom.converter.ts 
import { MessageConverter } from '@golevelup/nestjs-rabbitmq';
 
export class EncryptedMessageConverter implements MessageConverter {
  serialize(value: any): Buffer {
    const encrypted = this.encrypt(JSON.stringify(value));
    return Buffer.from(encrypted);
  }
 
  deserialize(message: Message): any {
    const decrypted = this.decrypt(message.content.toString());
    return JSON.parse(decrypted);
  }
 
  private encrypt(data: string): string {
    // AES加密实现 
    return crypto.createCipheriv('aes-256-cbc', key, iv).update(data, 'utf8', 'hex');
  }
 
  private decrypt(data: string): string {
    // AES解密实现 
    return crypto.createDecipheriv('aes-256-cbc', key, iv).update(data, 'hex', 'utf8');
  }
}

3 ) 方案3:基于Content-Type的动态转换

适用场景:多消息格式共存系统

// src/message-converter/dynamic.converter.ts 
export class DynamicMessageConverter implements MessageConverter {
  private jsonConverter = new JsonConverter();
  private protobufConverter = new ProtobufConverter();
 
  deserialize(message: Message): any {
    const contentType = message.properties.contentType || 'application/json';
    
    switch(contentType) {
      case 'application/json':
        return this.jsonConverter.deserialize(message);
      case 'application/x-protobuf':
        return this.protobufConverter.deserialize(message);
      default:
        throw new UnsupportedMessageFormatError(contentType);
    }
  }
}

核心配置参数解析

配置项类型必填默认值作用说明
deserializer(Message) => any否JSON解析定义消息消费时的反序列化逻辑
serializer(any) => Buffer否JSON序列化定义消息发送时的序列化逻辑
messageFactory(any) => Message否基础消息构造控制完整消息对象的构建过程
contentTypestring否application/json设置消息的Content-Type属性

工程示例:NestJS集成RabbitMQ完整实现


1 ) 领域对象定义

// src/orders/dto/order-message.dto.ts
import { Expose } from 'class-transformer';
 
export class OrderMessageDTO {
  @Expose()
  orderId: string;
  
  @Expose()
  productCode: string;
  
  @Expose()
  quantity: number;
  
  @Expose()
  timestamp: Date;
}

2 ) RabbitMQ模块配置

// src/rabbitmq/rabbitmq.config.ts
import { RabbitMQConfig } from '@golevelup/nestjs-rabbitmq';
 
export const rabbitConfig: RabbitMQConfig = {
  uri: process.env.RABBITMQ_URI,
  exchanges: [
    { 
      name: 'order_events', 
      type: 'topic',
      options: { durable: true, autoDelete: false }
    }
  ],
  channels: {
    'order-channel': {
      prefetchCount: 50,
      default: true 
    }
  },
  deserializer: msg => 
    plainToClass(OrderMessageDTO, JSON.parse(msg.content.toString())),
  serializer: obj => 
    Buffer.from(JSON.stringify(classToPlain(obj)))
};

3 ) 消费者实现

// src/orders/order.consumer.ts 
import { RabbitSubscribe } from '@golevelup/nestjs-rabbitmq';
 
@Controller()
export class OrderConsumer {
  private logger = new Logger(OrderConsumer.name);
 
  @RabbitSubscribe({
    exchange: 'order_events',
    routingKey: 'order.created',
    queue: 'order_processing_queue',
    queueOptions: {
      durable: true,
      deadLetterExchange: 'dead_letters'
    }
  })
  async handleOrderCreatedEvent(order: OrderMessageDTO) {
    this.logger.log(`Processing order ${order.orderId}`);
    // 业务处理逻辑
    await this.orderService.processNewOrder(order);
  }
}

4 ) 生产者实现

// src/orders/order.service.ts 
import { RabbitRPC } from '@golevelup/nestjs-rabbitmq';
 
@Injectable()
export class OrderService {
  constructor(private readonly amqp: AmqpConnection) {}
 
  async publishOrderEvent(order: OrderMessageDTO) {
    await this.amqp.publish(
      'order_events',
      'order.created',
      order, // 自动使用配置的serializer
      { 
        persistent: true,
        headers: { 'x-retry-count': 0 }
      }
    );
  }
}

常见问题与解决方案


  1. 类型映射失败

    Error: Failed to convert message to type OrderMessageDTO
    

    修复方案:检查class-transformer注解配置

    // 确保使用@Expose()暴露字段
    class OrderMessageDTO {
      @Expose() // 必须添加
      orderId: string;
    }
    
  2. 循环依赖问题

    TypeError: Cannot read properties of undefined
    

    修复方案:使用forwardRef解决模块依赖

    // order.module.ts
    @Module({
      imports: [
        forwardRef(() => RabbitConfigModule),
        TypeOrmModule.forFeature([Order])
      ]
    })
    
  3. 消息序列化异常

    TypeError: Do not know how to serialize a BigInt
    

    修复方案:自定义序列化逻辑

    serializer: (obj: any) => {
      return Buffer.from(JSON.stringify(obj, (_, value) => 
        typeof value === 'bigint' ? value.toString() : value
      ));
    }
    

实现原理深度解析


当消息到达消费者时,NestJS RabbitMQ模块的处理流程:

RabbitMQ ConsumerMessageHandlerMessageConverter业务方法原始Buffer消息调用deserializer返回OrderMessageDTO实例执行handleOrderCreatedEvent(order)RabbitMQ ConsumerMessageHandlerMessageConverter业务方法

关键源码路径(@golevelup/nestjs-rabbitmq):

  1. 消息接收入口:packages/rabbitmq/src/amqp/connection.ts#handleMessage
  2. 转换器调用点:packages/rabbitmq/src/amqp/handlers.ts#transformMessage
  3. 内置转换器:packages/rabbitmq/src/amqp/default-message-converter.ts

最佳实践建议


  1. 类型安全策略

    // 使用Interface定义消息契约 
    export interface OrderCreatedEvent {
      eventType: 'ORDER_CREATED';
      payload: OrderMessageDTO;
    }
    
    // 消费者使用类型守卫
    @RabbitSubscribe({...})
    async onOrderEvent(event: unknown) {
      if (isOrderCreatedEvent(event)) {
        // 安全访问event.payload
      }
    }
    
  2. 错误处理增强

    @RabbitSubscribe({
      exchange: 'orders',
      routingKey: 'order.#',
      queue: 'order_queue',
      // 自定义错误处理器 
      errorHandler: (channel, msg, error) => {
        channel.nack(msg, false, false); // 直接丢弃
        this.metricService.trackError(error);
      }
    })
    
  3. 性能优化配置

    # .env
    RABBITMQ_PREFETCH_COUNT=50  # 每个信道预取消息数
    RABBITMQ_RECONNECT_INTERVAL=5000 # 断连重试间隔
    

实际生产部署时,建议优先采用方案1(JSON转换器+ClassMapper) 满足大部分场景,在需要加密传输时启用方案2(自定义转换器),面对多协议兼容需求时采用方案3(动态路由转换)

SpringBoot整合RabbitMQ实现高效消息队列 消息队列是现代分布式系统中的核心组件,通过异步通信机制实现系统解耦和流量削峰。RabbitMQ作为AMQP协议的开源实现,以其高可靠性和灵活的路由策略成为企业级应用首选。SpringBoot通过自动配置和starter机制,显著降低了RabbitMQ的集成复杂度。在电商订单处理等典型场景中,这种组合能减少60%以上的样板代码,同时支持手动确认、死信队列等高级特性。开发者只需配置spring-boot-starter-amqp依赖,结合@RabbitListener注解即可快速实现生产消费逻辑,而Docker 阅读详情

相关推荐

DDR5内存Training全解析:从信号完整性到CS训练模式的实战指南

本文深入解析了DDR5内存Training的全过程,从信号完整性挑战到CS训练模式(CSTM)的实战应用。文章详细阐述了Training在DDR5高频时代的关键作用,对比了In-Band与OOB两种架构,并拆解了Intel MRC的核心训练步骤,为硬件与固件工程师提供了诊断与优化系统稳定性的实用指南。

weixin_29252171的博客 1032

RabbitMQ消息转换器

发送成功后,我们获取我们的Message可以看到,此时的content_type是 application/json,而消息的可读性也变高了,细心的小伙伴应该也可以看到,这里需要的字节数也变少了。为了看我们发送到rabbitMq的消息的形式,这里,我们还是把消费者服务先停掉,然后重新运行我们刚才发送User对象的测试方法。编写完成后,我们运行该方法。因此,我们正常使用的情况下,我们不会使用默认的JDK的序列化,而是会用我们的。为了观察我们发送到RabbitMQ的对象,我们这里先把监听服务关掉。

越努力越幸运的博客 1998

深入解析XTEA加密算法的核心机制与优化策略

本文深入解析XTEA加密算法的核心机制与优化策略,详细介绍了XTEA在嵌入式系统和资源受限环境中的优势,包括其高效的加解密速度和低资源消耗。文章还探讨了XTEA的轮函数设计、关键参数优化策略以及实战应用中的性能对比,为开发者提供了安全增强方案和优化技巧。

k8l9m0n的博客 243

【RabbitMQ(二)】:Exchange 详解 | Message Convert 消息转换器

💡 后面不再每次强调队列的创建,大家可以自主创建队列来进行模拟或者参考我代码中的队列。👉 监听端和上面的代码相同,没什么变化,仍然指向监听的队列即可,将这两个队列绑定到。👉 所以为了使得预取数量可以按照自己的能力来取得,可以手动将预取的数量设定为。提供了一些 API 去创建新的队列和交换机可以在代码中去创建新的交换机。是系统创建时默认携带的交换机,当然也可以根据业务去创建自己的交换机。💡 需要注意的是两个子模块的配置文件中都需要表明服务器的相关配置。👉 编写接收消息的方法

kkq的博客 2477

从Chimera到ChimeraX:科研绘图升级指南,让你的论文配图更专业

本文详细介绍了从UCSF Chimera升级到ChimeraX的科研绘图指南,帮助研究者提升论文配图质量。ChimeraX在渲染引擎、大分子处理能力和动画功能上具有显著优势,特别适合生命科学和结构生物学领域。文章涵盖材质设置、专业配色、工作流程和期刊适配等核心技巧,助力产出出版级分子可视化图像。

weixin_33670786的博客 942

Arduino ESP8266通过 RF433数据收发实验

Arduino ESP8266通过 RF433射频模块实现数据收发实验 写这篇文章,折腾了2天,在没有成功之前,一直在摸索和采坑当中,不要问我黑暗和黎明之间有多长。开发很多时候只问结果,不问过程的,在这里分享来之不易的结果,希望后面的人不要采坑,有成功的案例先河,后面与之相关的应用开发只需要套用模板修改即可实现。 实物搭建 RF433模块 我使用的是这个:nodemcu 本案例开发所使用到的库:RadioHead:http://www.airspayce.com/mikem/

perseverance51博客 3808

RabbitMQ入门指南(六):消息转换器及其案例

RabbitMQ是一个高效、可靠的开源消息队列系统,广泛用于软件开发、数据传输、微服务等领域。本文主要介绍了RabbitMQ默认转换器、JSON转换器及其案例等内容。

Rye的博客 2611

4.4 直流无刷电机(BLDC):控制器硬件设计

摘要 本文详细阐述了直流无刷电机(BLDC)控制器的硬件设计要点。控制器硬件主要包括微处理器单元、功率驱动模块、信号检测电路、通信接口和电源管理模块。在微处理器选型方面,分析了ARM Cortex-M系列、DSP等架构的适用场景,并对比了不同处理器的性能参数。功率驱动模块设计重点包括栅极驱动电路、逆变桥热管理和电流保护机制。信号检测部分介绍了位置传感器接口和模拟信号调理技术。此外,还讨论了通信接口设计、电源管理方案以及硬件布局与EMC设计规范。最后强调了硬件测试验证的重要性,包括故障注入测试等验证方法。整体

技术工作者 186

Spring整合Jms学习(三)_MessageConverter介绍

1.4     消息转换器MessageConverter MessageConverter的作用主要有两方面,一方面它可以把我们的非标准化Message对象转换成我们的目标Message对象,这主要是用在发送消息的时候;另一方面它又可以把我们的Message对象转换成对应的目标对象,这主要是用在接收消息的时候。 下面我们就拿发送一个对象消息来举例,假设我们有这样一个需求:我们平台有一个发送邮

yuanlaishini2010的专栏 1281

103、模拟增益vs数字增益:信噪比、动态范围与噪声放大的权衡艺术及调试陷阱

摘要 本文深入探讨了模拟增益与数字增益在图像处理中的差异及其对信噪比、动态范围和噪声放大的影响。作者通过实际案例揭示了数字增益可能导致的噪点放大问题,分析了模拟增益在物理层面对信号和噪声的放大机制,以及数字增益对量化噪声的影响。文章详细比较了两种增益方式下信噪比的变化曲线,指出数字增益会平方放大量化噪声的致命缺陷。此外,作者总结了常见的调试陷阱,并提供了针对不同光照场景的增益分配策略建议。最后强调调试时应优先考虑模拟增益,严格控制数字增益幅度,并配合降噪算法优化以获得最佳图像质量。

zzfmlxs的博客 50

mindie部署qwen3-8b

2. 确认目录文件权限是否如下所示,若存在不匹配项,则参考以下命令修改权限。否则要stop容器之后重新start,重新从《以下是在容器中的操作》开始操作。ctrl +d 让命令停止之后,需要等待一段事件让其释放,否则还会有占用。1. 若安装路径为默认路径,执行如下命令,进入MindIE安装目录。# 配置CANN环境,默认安装在/usr/local目录下。3. 运行以下命令初始化各组件环境变量,并开启日志打印。如果报错,可能有些线程没法去除,删除容器重新操作。# 配置模型仓环境变量。以下是在容器中的操作。

andeyeluguo的博客 1038

RabbitMQ学习笔记(四)——RabbitMQ与SpringBoot适配

目录Spring AMQP特性1. 异步消息监听容器2. RabbitTemplate3. RabbitAdmin4. Spring Boot Config利用RebbitAdmin快速配置Rabbit服务在RabbitConfig中配置RabbitAdmin用来管理RabbitMQ代码实践利用RabbitAdmin简化配置Rabbit服务流程RabbitAdmin声明式配置RabbitAdmin声明式配置的优点代码实践利用RabbitTemplate快速消息发送RabbitTemplate特点代码实践利用

不愿意做鱼的小鲸鱼の博客 1456

【100%通过率】2023华为od机试C卷【电脑病毒感染】Java&Go 实现

一个局域网内有很多台电脑,分别标注为 0 ~ N-1 的数字。相连接的电脑距离不一样,所以感染时间不一样,感染时间用t 表示。其中网络内一台电脑被病毒感染,求其感染网络内所有的电脑最少需要多长时间。如果最后有电脑不会感染,则返回-1.

MISAYAONE的博客 2863

rabbitmq MessageConverter

package com.bfxy.spring.entity; public class Order { private String id; private String name; private String content; public Order() { } public Order(String id, String...

qq_33002953的博客 1483

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

RabbitMQ AMQP MessageConverter 消息转换器 PDF Image Text 文本 图片 PDF json

MessageConverter 消息转换器 我们在进行发送消息的时候,正常情况下消息体为二进制的数据方式进行传输,如果我们希望内部帮我们进行转换,或者指定自定义的转换器,就需要用到MessgeConverter // 1.1 支持json格式的转换器 MessageListenerAdapter adapter = new MessageListenerAda...

炫的博客 2万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

RabbitMQ:@RabbitListener 与 @RabbitHandler 及 消息序列化

添加 @RabbitListener 注解来指定某方法作为消息消费的方法,例如监听某 Queue 里面的消息 MessageConvert 涉及网络传输的应用序列化不可避免,发送端以某种规则将消息转成 byte 数组进行发送,接收端则以约定的规则进行 byte[] 数组的解析 RabbitMQ 的序列化是指 Message 的 body 属性,即我们真正需要传输的内容,RabbitMQ 抽象出一个...

weixin_43343423的博客 3万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

RabbitMQ(三)消息序列化

RabbitMQ(三)消息序列化 MessageConvert 涉及网络传输的应用序列化不可避免,发送端以某种规则将消息转成 byte 数组进行发送,接收端则以约定的规则进行 byte[] 数组的解析 RabbitMQ 的序列化是指 Message 的 body 属性,即我们真正需要传输的内容,RabbitMQ 抽象出一个 MessageConvert 接口处理消息的序列化,其实现有 Simpl...

Sadlay的博客 1万+

SpringRabbitMQ消息转换:MessageConverter自定义实现

MessageConverter在Spring RabbitMQ中扮演着关键角色,它不仅仅是对象与消息之间的转换桥梁,更是实现特殊业务需求的重要工具。Spring AMQP提供了丰富的内置转换器,满足常见的JSON、XML等格式转换需求。通过自定义MessageConverter,我们可以实现消息加密解密、压缩解压、协议转换等高级功能,增强系统的安全性、性能和灵活性。

程序媛学姐的博客 1174

消息队列——RabbitMq

一、消息队列的使用场景 一、消息队列的使用场景) 一、消息队列的使用场景 异步处理 应用解耦 流量削锋 消息通讯 【1】异步处理:场景说明:用户注册后,需要发注册邮件和注册短信。 引入消息队列后架构如下:用户的响应时间=注册信息写入数据库的时间,例如50毫秒。发注册邮箱、发注册短信写入消息队列后,直接返回客户端,因写入消息队列的速度很快,基本可以忽略,因此用户的响应时间可能是50毫秒。 按照传统的做法: ①、串行方式,将注册信息写入数据库成功后,发注册邮件,再发送注册短信,以上三个成功后,返回客户端。可

weixin_45080272的博客 6565

SpringAMQP 消息转换器 - MessageConverter

MessageConverter 即消息转换器 我们在进行发送消息的时候,正常情况下消息体为二进制的数据方式进行传输,如果希望内部帮我们进行转换,或者指定自定义的转换器,就需要用到 MessageConverter 了。 自定义常用转换器: MessageConverter, 一般来说都需要实现这个接口,然后重写以下两个方法。 toMessage: java 对象转换为 Message fr...

weixin_33970449的博客 838

如何快速集成FastJSON与RabbitMQ:MessageConverter配置与性能调优终极指南

FastJSON作为阿里巴巴开源的高性能JSON处理库,在RabbitMQ消息队列集成中发挥着重要作用。本文将为您详细介绍FastJSON与RabbitMQ的集成方法,特别是MessageConverter的配置技巧和性能优化策略,帮助您构建高效的消息处理系统。 ## 📋 FastJSON与RabbitMQ集成概述 FastJSON提供了专门的消息转换器类`MappingFastJsonMe

gitblog_00372的博客 754

RabbitMQ之消息转换器

本篇文章将记录和分享RabbitMQ消息转换器的知识点

小威的博客 2万+

【RabbitMQ】@RabbitListener 与 @RabbitHandler 及 消息序列化

添加 @RabbitListener 注解来指定某方法作为消息消费的方法,例如监听某 Queue 里面的消息 MessageConvert 涉及网络传输的应用序列化不可避免,发送端以某种规则将消息转成 byte 数组进行发送,接收端则以约定的规则进行 byte[] 数组的解析 RabbitMQ 的序列化是指 Message 的 body 属性,即我们真正需要传输的内容,RabbitMQ 抽象出一个 MessageConvert 接口处理消息的序列化,其实现有 SimpleMessageConverter(默

惠菁 1487

RabbitMQ 学习笔记 -- 07 初探@RabbitListener

Message 在消息传递的过程中,实际上传递的对象为 org.springframework.amqp.core.Message ,它主要由两部分组成: MessageProperties // 消息属性 byte[] body // 消息内容 如下使用 Message 类型接收数据,当监听到队列 hello中有消息时则会进行接收并处理,MessageConvert 会直接转换成消息类型,并绑定在对应被注解的方法中。 消息处理方法参数是由 MessageConverter 转化,若

yorsola的博客 4493
上一篇: RabbitMQ: MessageListenerAdapter 的核心作用与设计原理
下一篇: RabbitMQ: 实现高效消息监听之从基础到自动配置
Wang's Blog
博客等级 码龄12年 7438粉丝 2422原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值