rocket-MQ

本文详细介绍了如何在Spring Boot项目中集成Apache RocketMQ,包括生产者和消费者的配置,参数解析,以及消息发送和消费的流程。重点讲解了`serverAddr`, `TOPIC_NAME`, `workerId`, `datacenterId`等关键配置,并提供了批量消费和消息模型选择的建议。

Rocket-MQ消息队列使用说明

注意下文中出现的大多都是由作者公司封装过一层

1.引入jar包
<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.0.1</version>
</dependency>

公司项目中的sedinbj已经包含mq的核心包,我们直接依赖于sedinbj即可,不需要重新依赖

2.配置消息生产者:
/**
 * 向队列发送消息接口实现
 */
@Bean(name = "sendMessageApi")
public SendMessageApi<BizMessage> sendMessageApi() {
    RocketProducerConfig rocketProducerConfig = new RocketProducerConfig(this.serverAddr, this.TOPIC_NAME, "attendanceRecord", this.workerId, this.datacenterId);
    rocketProducerConfig.setInstanceName("real-name-service-attendanceRecord");
    rocketProducerConfig.setGroupName("real-name-service-attendanceRecord-producers");
    rocketProducerConfig.setQueueName("real-name-service-attendanceRecord");
    return new RocketProducer(rocketProducerConfig);
}

其中需要了解:
以下这些是封装的rocketMQ生产者RocketProducerConfig的参数含义,

serverAddr:队列服务器地址;
topic_name:队列主题;
tags1:标签;
workerId:工作机器Id,大于0不大于32的整数;
datacenterId:数据中心id。

我们是这样定义的:

/**
 * 队列主题名称
 */
private final String TOPIC_NAME = "real-name-service-sync";

/**
 * 队列服务地址
 */
@Value("${mq.serverAddr}")
private String serverAddr;

/**
 * 工作机器ID
 */
private  final long workerId= WorkIdUtils.getWorkId();

/**
 * 数据中心ID
 */
private final Long datacenterId=1l;

最后需要自由设置InstanceName GroupName QueueName三个名称参数,将rocketProducerConfig作为参数返回RocketProducer对象即可

3.配置消息消费者:
/**
 * 监听队列消息接口实现
 */
@Bean(name = "receiveMessageApi")
public ReceiveMessageApi<MessageListener> receiveMessageApi() {
    RocketConsumerConfig rocketConsumerConfig = new RocketConsumerConfig(this.serverAddr, this.TOPIC_NAME, "attendanceRecord", this.workerId, this.datacenterId);
    rocketConsumerConfig.setInstanceName("real-name-service-attendanceRecord");
    rocketConsumerConfig.setGroupName("real-name-service-attendanceRecord-consumers");
    rocketConsumerConfig.setQueueName("real-name-service-attendanceRecord");
    rocketConsumerConfig.setConsumeMessageBatchMaxSize(100);
    rocketConsumerConfig.setPullBatchSize(100);
    rocketConsumerConfig.setMessageModel(MessageModel.CLUSTERING);
    return new RocketConsumer(rocketConsumerConfig);
}

其中serverAddrtopic_nametags1workerIddatacenterIdInstanceNameGroupNameQueueName这几个参数和生产者一致
还有另外两个参数:

ConsumeMessageBatchMaxSize:指批量消费数量的多少,也就是说当MQ消息拉取之后每次派发给我们每个消费者消息的多少;该参数默认值是1,最大值是1024,这个具体设置多少,需要根据自己的业务来定,假如我们每个消息的处理耗时很长,那么这个参数就应该设置的偏小一点,不要让单个消息的消费慢影响同一批中的其他消息。

PullBatchSize:代表每批次拉取消息的最大个数,默认值是32

rocketConsumerConfig.setMessageModel(MessageModel.CLUSTERING);这行代码是在设置MQ的模式;Rocket-MQ默认是以集群模式来消费的也是就如代码中的MessageModel.CLUSTERING;还有一个广播模式可以使用MessageModel.BROADCASTING

集群消费也就是消息的负载均衡消费;广播消息,类似于ActiveMQ中的发布订阅模式,消息会发给Consume Group中的每一个消费者进行消费。

4.发送消息:
@Autowired
private SendMessageApi<BizMessage> sendMessageApi;


sendMessageApi.safeSend(new BizMessage(IdWorker.getId(), JSON.toJSONString(result)));

先在业务类中注入封装的生产者(com.sedinbj.kernel.mq.api.SendMessageApi),再通过safeSend方法发送消息

5.创建消费者处理消息
@Component
public class AttendanceRecordMqHandler extends AbstractHandler<BizMessage> {

    @Autowired
    AttendanceRecordMapper attendanceRecordMapper;

    @Autowired
    IProLabourPersonService proLabourPersonService;

    @Override
    @Transactional
    public void handler(List<BizMessage> entity) {
        //业务代码
    }

    @Override
    public void errorHandlerCallback(List<BizMessage> entity) {
     	//业务代码
    }
 }

定义一个类,需要继承AbstractHandler这个类(com.sedinbj.kernel.mq.rocketmq.handler.AbstractHandler),并重写handler方法(处理消息)和errorHandlerCallback方法(错误回调方法)
这两个方法都根据业务需求自行编写即可
需要注意的是handler方法所传入的List参数的多少就是有上边所说的ConsumeMessageBatchMaxSize参数控制的

6.注册监听器
@Autowired
private ReceiveMessageApi<MessageListener> receiveMessageApi;


receiveMessageApi.register(new MessageListener(redisTemplate, attendanceRecordMqHandler));

先注入ReceiveMessageApi后(com.sedinbj.kernel.mq.api.ReceiveMessageApi),通过register注册方法,传入一个监听器(com.sedinbj.kernel.mq.rocketmq.listener.MessageListener),监听器中再传入redis(org.springframework.data.redis.core.RedisTemplate)以及上一步中写好的消费者类即可

### RocketMQ 使用介绍 #### 基本概念 RocketMQ 是一款分布式消息中间件,广泛应用于高并发、大数据量的消息传递场景。其核心组件包括消息生产者(Producer)、消息消费者(Consumer)以及 Broker Server 和 NameServer。 - **消息生产者与消费者** 消息生产者负责创建并发送消息至 RocketMQ 服务器,而消息消费者则从 RocketMQ 服务器获取消息并处理[^3]。这种架构使得生产和消费可以异步进行,从而提高系统的吞吐能力和可靠性。 - **队列机制** 队列是 RocketMQ 中用于存储和传输消息的核心容器。每个主题(Topic)由多个队列构成,这些队列支持水平扩展和流式存储,能够有效应对大规模数据的读写操作[^2]。 --- #### Linux 环境下的部署流程 在实际项目中,通常会在 Linux 系统上部署 RocketMQ。以下是基于官方文档的一个简化版本: 1. 修改 `broker.conf` 文件中的配置项,指定公网 IP 地址以便其他节点访问: ```bash brokerIP1=你的公网IP ``` 2. 启动 Broker 实例时,通过命令行参数绑定到指定的 NameServer 并加载自定义配置文件: ```bash nohup sh bin/mqbroker -n 你的公网IP:9876 -c conf/broker.conf autoCreateTopicEnable=true & ``` 需要注意的是,在某些情况下,官方文档可能存在不完善的地方,因此建议开发者记录下遇到的问题及其解决方案[^4]。 --- #### 技术选型对比 当考虑采用 RocketMQ 还是其他同类工具(如 RabbitMQ 或 Kafka)时,应综合评估具体业务需求和技术特性。例如,如果更关注顺序消息的支持能力或者更高的单机性能,则 RocketMQ 可能是一个不错的选择;而对于传统企业级应用场景来说,RabbitMQ 提供的功能可能更加全面[^1]。 --- ### 示例代码:简单消息收发演示 下面给出一段 Python 编程语言实现的基本示例来展示如何利用 paho-mqtt 库模拟完成一次简单的消息发布订阅过程(注意这里仅作为逻辑示意,并未直接调用 rocketmq api) ```python import time from rocketmq.client import PushConsumer, Message def consume_message(msg:Message): print(f"Received message:{msg.body.decode('utf-8')}") consumer = PushConsumer("example_group_name") consumer.subscribe("TestTopic",consume_message) consumer.start() print("Waiting for messages...") time.sleep(30) consumer.shutdown() ``` 上述脚本展示了设置回调函数接收来自特定 topic 的通知的过程。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值