RocketMQ知识点总结

本文详细介绍了RocketMQ的重要性,包括削峰、异步和解耦的应用,以及主流消息队列Kafka、RabbitMQ和RocketMQ的对比。RocketMQ的架构由NameServer、Broker、Producer和Consumer组成,支持集群和广播消费模式。RocketMQ具有高吞吐量、高可靠性和分布式特性,广泛应用于订单、交易等场景。文中还探讨了RocketMQ的面试常见问题,如消息重复消费、顺序消息、死信队列和分布式事务处理策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

为什么需要消息队列

1、削峰

高并发情况下,服务器通过集群模式(即多机部署),可以抗住几万的并发,但数据库能承受的并发量是有限的,若服务器将所有请求直接打向数据库,会直接把数据库打垮。如图所示:
在这里插入图片描述

2、异步

对于实时性不是很高的业务,例如给用户发送短信、邮件通知,以及下单后的创建订单、削减库存等操作都可以放到消息队列里去。因为相对于核心订单流程来说,短信、邮件晚一些发送,对用户来说影响不是很大。同时还可以提升整个链路的响应时间。

1、解耦

多个服务通过消息队列关联在一起,相互之间不会产生耦合,一个服务挂了不影响其他服务。后续的可维护性、扩展性都大大提升。如:订单系统在创建了订单之后需要通知其他的所有系统,若通过rpc调用就把订单系统和其余的系统强耦合在了一起。若采用消息队列,就可以将所有服务关联在一起,订单服务只用往消息队列中发送消息,而其他服务则根据自己的消费能力依次消费消息即可。
在这里插入图片描述

主流的消息队列选型

1、Kafka

Kafka是LinkedIn开源的分布式发布-订阅消息系统,属于apache的开源项目,基于pull模式来消费消息。
优点:拥有很高的吞吐量,单机能够抗下十几w的并发,而且写入的性能也很高,能够达到毫秒级别。
缺点:高并发情况下可能会出现消息的丢失。
应用场景:用于大量数据的日志消息的收集,允许丢失一两条消息。

2、RabbitMQ

RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。
优点:保证消息不丢失,可靠性高,且写入延迟可达到微秒级;
缺点:吞吐量只能达到几万;
应用场景:不允许消息丢失,且不会出现高并发的业务需求。

3、RocketMQ

Rocke

### RocketMQ 核心知识点总结 #### Apache RocketMQ 简介 Apache RocketMQ 是一种分布式消息传递和流处理平台,最初由阿里巴巴开发并于 2016 年捐赠给 Apache 基金会[^1]。它是国内首个非 Hadoop 生态体系下的顶级项目(TLP),广泛应用于高吞吐量、低延迟的消息传递场景。 --- #### 核心组件与架构 RocketMQ 的核心架构主要由以下几个部分组成: 1. **NameServer** NameServer 是 RocketMQ 中的路由服务模块,负责管理 Broker 的注册信息并提供动态路由查询功能。它采用无状态设计,支持水平扩展[^3]。 2. **Broker** Broker 是 RocketMQ 的消息存储节点,分为 Master 和 Slave 两种角色。Master 节点负责写入消息,而 Slave 节点通过同步或异步的方式复制 Master 上的数据[^3]。 3. **Producer** Producer 是消息生产者的抽象,用于向指定 Topic 发送消息。可以通过设置合理的重试策略来提高可靠性[^4]。 4. **Consumer** Consumer 是消息消费者的抽象,用于从指定 Topic 订阅并消费消息。RocketMQ 支持多种消费模式,包括广播模式和集群模式[^3]。 5. **Topic** Topic 是消息的主题分类,用于逻辑上的隔离。每个 Topic 可以分布在多个 Queue 中,Queue 实际上是一个有序的消息列表。 --- #### 核心特性 以下是 RocketMQ 的一些关键特性和优势: 1. **高性能与高吞吐量** RocketMQ 使用高效的文件读写机制(如 MappedByteBuffer)实现持久化存储,能够满足大规模并发需求。 2. **可靠的消息传递** 提供 At-Least-Once 和 Exactly-Once 消息语义,确保消息不会丢失。通过主从同步机制,在硬件故障时仍能保障数据一致性。 3. **灵活的消息模型** 支持普通消息、顺序消息、定时/延时消息以及事务消息等多种类型。 4. **负载均衡** RocketMQ 自动分配消息到不同的 Queue,并通过 Rebalance 机制调整消费者之间的负载分布[^3]。 5. **可扩展性** 名字服务器和服务端均支持横向扩展,便于应对业务增长带来的压力[^3]。 --- #### 关键技术细节 1. **消息存储结构** - 物理存储:基于 CommitLog 文件记录消息偏移位置。 - 逻辑存储:通过 ConsumeQueue 映射物理地址至具体队列。 2. **主从同步** 主从之间可通过 SYNC_MASTER 或 ASYNC_FLUSH 方式进行数据复制。推荐使用 ASYNC_FLUSH 结合 SYNC_MASTER 来平衡性能与可靠性。 3. **消息重试与死信队列** 当消息首次投递失败时,可以触发多次重试;如果最终无法成功,则会被存入 Dead Letter Queue (DLQ)[^3]。 4. **消费幂等** 在某些场景下可能会发生重复消息的情况,因此需要开发者自行实现幂等逻辑以避免副作用[^3]。 5. **批量发送优化** 对于大批量的小型消息,建议启用批量发送功能以减少网络开销。 --- #### 生产者最佳实践 为了提升系统的稳定性和效率,以下是一些常见的生产者配置技巧: - 设置合适的 `retry` 参数控制失败后的尝试次数; - 利用压缩算法减小传输体积; - 尽可能利用批量操作降低单次调用成本[^4]。 ```java // 示例代码展示如何配置生产者参数 DefaultMQProducer producer = new DefaultMQProducer("example_group"); producer.setRetryTimesWhenSendFailed(3); producer.start(); List<Message> messages = Arrays.asList( new Message("TopicTest", "TagA", "Message Body 1".getBytes()), new Message("TopicTest", "TagB", "Message Body 2".getBytes()) ); try { SendResult result = producer.send(messages); } catch (Exception e) { System.out.println(e.getMessage()); } ``` --- #### 总结 通过对 RocketMQ 的深入分析可以看出,其不仅具备强大的基础能力,还提供了丰富的高级特性以适应复杂的实际应用场景。无论是金融支付还是电商促销活动,都可以借助这一工具完成高效的信息交互任务。 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值