技术选型：RocketMQ or Kafka

最新推荐文章于 2025-05-28 11:00:18 发布
最新推荐文章于 2025-05-28 11:00:18 发布
阅读量897 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/X_January/article/details/120780580
本文探讨了在系统间调用解耦时，选择RocketMQ还是Kafka的决策过程。文章通过比较两者的适用场景、性能、可靠性、实时性、消息顺序性、重试机制、定时消息、分布式事务和消息查询等特性，得出RocketMQ在数据可靠性、实时性和消息顺序性等方面的优势。阿里自研RocketMQ主要是由于其业务对数据正确性、实时性和复杂业务支持的高要求，以及避免开源方案的技术成本和维护问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当业务需要系统间调用解耦时，MQ 是一个很好的方案，目前选择最多的当属Kafka和阿里的RocketMQ, 两种中间件都可以使用，都是备选方案，摆在面前，怎么选择？

一. 方法论-评估和选择备选方案的方法

按优先级选择，即架构师综合当前的业务发展情况、团队人员规模和技能、业务发展预测等因素，将质量属性按照优先级排序，首先挑选满足第一优先级的，如果方案都满足，那就再看第二优先级……以此类推。

二.RocketMQ和Kafka到底有什么区别

1、适用场景

kafka适合做日志处理

rocketmq适合处理业务

2、性能

kafka单机写入TPS号称在百万条/秒

RocketMQ大约是10万/秒

3、可靠性

kafka使用异步刷盘，异步Replication

rocketmq支持异步/同步刷盘，异步/同步Replication

结论：rocketmq所支持的同步方式提升了数据的可靠性

4、实时性

均支持pull长轮询，rocketmq的实时性更好

5、支持的队列数

kafka单机超过64个队列/分区，消息发送性能降低严重

rocketmq单机支持最高5万个队列，性能稳定

结论：长远来看，rocketmq胜出，这也是适合业务处理的原因之一

6、消息顺序性

kafka某些配置下，支持消息顺序，但是一台broker宕机后，就会产生消息乱序

rocketmq支持严格的消息顺序，在顺序消息场景下，一台broker宕机后，消息发送会失败，但是不会乱序

7、消息失败重试机制

kafka消费失败不支持重试

rocketmq支持定时重试

8、定时/延时消息

kafka不支持定时消息

rocketmq都支持

9、分布式事务消息

kafka不支持

最低0.47元/天 解锁文章

200万优质内容无限畅学
X_January
关注
消息队列选型：RocketMQ vs Kafka
DeoSql的博客
09-19 248
Kafka还有许多第三方工具和库的支持，如Kafka Connect和Kafka Streams，可以方便地集成到现有的数据处理和分析流程中。如果您更关注消息的过滤、定时投递和顺序性等特性，以及与阿里巴巴产品和技术的集成，那么RocketMQ是一个不错的选择。如果您更关注高吞吐量、低延迟和持久化存储，以及与现有的大数据处理流程的集成，那么Kafka可能更适合您的需求。RocketMQ和Kafka都是强大而成熟的消息队列系统，它们在架构设计、性能和生态系统方面都有各自的优势。
详解消息中间件及其应用场景和常用消息中间件的技术选型（RabbitMQ、Kafka 、RocketMQ、ActiveMQ）
Duktig的博客
02-19 5977
消息中间件简介 消息中间件的使用场景 消息中间件的产生背景、特点和常用协议 常用消息中间件介绍（RabbitMQ、Kafka 、RocketMQ、ActiveMQ） 常用消息中间件的对比 常用消息中间件，如何技术选型？
mq选型：rocketMq和kafka对比
07-23 1825
为什么在RocketMQ和kafka中选型 在单机同步发送的场景下，Kafka>RocketMQ，Kafka的吞吐量高达17.3w/s，RocketMQ吞吐量在11.6w/s。 kafka高性能原因 生产者 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。 顺序写入 因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最“讨厌”随机I/O，最喜欢顺序I/O。为了提
RocketMQ和Kafka应用场景与选型
joely1的专栏
07-03 2096
1、适用场景 kafka适合日志处理 rocketmq适合业务处理 结论：两者没有区别，根据具体业务定夺 2、性能 kafka单机写入TPS号称在百万条/秒 rocketmq大约在10万条/秒 结论：追求性能方面，kafka单机性能更高 3、可靠性 kafka使用异步刷盘方式，异步Replication rocketmq支持异步/同步刷盘，异步/同步Replication 结论：rocketmq所支持的同步方式提升了数据的可靠性 4、实时性 kafka和rocketmq均支持pull长轮询，rocketmq
RocketMQ与Kafka对比分析
最新发布
走过冬季
05-28 654
两者均为优秀消息中间件，Kafka 胜在吞吐量和生态成熟度，适合大数据和流处理；RocketMQ 强在可靠性和功能完备性，适合交易和金融场景。实际选型需结合业务需求、技术栈和运维成本综合评估。
RocketMQ和Kafka到底选哪个
多看多听多总结
04-01 2165
RocketMQ和Kafka到底选哪个
深度分析Kafka与RocketMQ：定义、优缺点、使用场景及选型指南
weixin_48313678的博客
06-23 3212
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，并于2011年开源。Kafka的设计初衷是用于高吞吐量、低延迟的数据流处理和实时数据管道。Kafka的核心组件包括生产者、消费者、主题和分区。Apache RocketMQ是由阿里巴巴开发的一款分布式消息中间件，2016年捐赠给Apache基金会。RocketMQ的设计目标是高可靠性、高性能和高可用性，支持分布式事务和顺序消息等高级特性。RocketMQ的核心组件包括生产者、消费者、主题和队列。
实时大数据平台技术选型概要
王某的博客
10-01 7641
文章目录一、DELETED1-1 业务背景、业务场景、业务模式1-2 数据峰值、需求二、难点2-1 数据孤岛2-2 不同数据的定制化数据抽取方案2-3 数据完整性、安全性2-4 单点故障2-5 其他三、架构(粗略)3-1 架构图总览3-2 数据采集3-2-1 分布式消息队列KafkaRabbitMQRocketMQ几种消息中间件的比较3-2-2 日志收集flume + kafkalogstash ...
后端知识查漏补缺学习轨迹（长期更新）
Inequality-Sign的博客
02-07 1629
后端知识查漏补缺学习轨迹（长期更新）2022-02-06尾递归布隆过滤器布隆过滤器原理redis中的布隆过滤器布隆过滤器的应用跳表VS红黑树redis RDB VS AOFRDBAOFHashMap连环问redis的过期策略以及内存淘汰机制redis reactor模型redis key value实现原理 2022-02-06 尾递归 什么是尾递归？ 若函数在尾位置调用自身（或是一个尾调用本身的其他函数等等），则称这种情况为尾递归 尾调用的重要性在于它可以不在调用栈上面添加一个新的堆栈帧——而是更新它，如
消息队列的选型以及5个架构点
ArchManual 分布式技术架构手册
08-08 1373
消息队列的顺序性、高可用、消息积压、防重、防丢失
消息队列技术选型（Kafka + RocketMQ）
司马懿的西山居
12-27 1573
当业务需要系统间调用解耦时，MQ是一个很好的解决方案。目前选择最多的当属Kafka和阿里的RocketMQ。备注：TPS：Transaction Per Second，每秒事务处理量。
常用mq对比及rocketmq、kafka选型
weixin_34212762的博客
10-11 354
一、常用MQ对比上述来自优快云搜索博客中的图片。上述来自阿里云栖社区搜索博客中的图片。二、rocket、kafka选型（以下汉字内容是从下述各个网站中摘取出的个人认为的重点内容。）1、Kafka vs RocketMQ ——消息及时性对比https://yq.aliyun.com/articles/62836在Kafka里面，Maser/Slave是选举出来的！！！Rock...
「RocketMQ技术专题」帮你梳理RocketMQ/Kafka的选择理由及二者PK
wdj_yyds的博客
03-16 3083
前提背景 大家都知道，市面上有许多开源的MQ，例如，RocketMQ、Kafka、RabbitMQ等等，现在Pulsar也开始发光，今天我们谈谈笔者最常用的RocketMQ和Kafka，想必大家早就知道二者之间的特点以及区别，但是在实际场景中，二者的选取有可能会范迷惑，那么今天笔者就带领大家分析一下二者之间的区别，以及选取标准吧！ 架构对比 RocketMQ的架构 RocketMQ由NameServer、Broker、Consumer、Producer组成，NameServer之间互不通信，Brok
RocketMQ与Kafka深度对比：消息中间件的选择之战
fudaihb的博客
04-26 8565
本文旨在深入探讨RocketMQ与Kafka的各项特性和差异，帮助读者更好地理解两者的优缺点，从而在实际应用中做出明智的选择。我们将从基本概念和架构对比开始，逐步深入到性能、可靠性、易用性、扩展性、事务消息支持、部署与运维等多个方面进行全面的对比分析。最后，我们还将通过实战案例和经验总结，为读者提供更加实用和具体的参考，希望能够为大家在消息中间件的选择之路上提供有力的支持和指导。
如何选择最适合的消息队列？详解 Kafka、RocketMQ、RabbitMQ 的使用场景
qq_38917476的博客
11-04 1676
消息队列是一个用于在分布式系统中传递消息的机制。它通过生产、存储和消费消息的方式，在不同系统或服务之间建立通信桥梁，帮助实现解耦和异步处理。生产者（Producer）生产者是消息的创建者。它负责将消息发送到消息队列中。生产者可以是系统中的某个模块、服务，或者用户操作触发的事件。无论消息的来源是什么，生产者的作用就是生成需要传递的信息。在业务系统中，生产者通常是业务事件的触发方，例如用户下单时生成订单信息，并将该信息发送到消息队列中，以便其他系统能够接收和处理该信息。存储处理中心。
多维度对比后选择适合的消息队列：Kafka vs RabbitMQ vs RocketMQ
BXA
05-03 2312
消息队列系统是一种在分布式环境中进行系统间通信的方法，通过将应用程序解耦并使异步通信成为可能: 可靠性：在将消息发送到队列之后，它将保留在该队列中直到被消费者读取，从而确保应用程序间消息的传递 异步通信：由于消息队列系统的异步通信机制，开发人员可以编写并发代码，并在应用程序间传递数据 解耦：通过将相互依赖的组件分成可靠、分散的服务，可以同时降低运行成本和提高可维护性 可拓展性：通过将应用程序连接到消息队列并成为生产者或消费者，可以轻松地拓展到多台服务器
kafka和rocketmq如何选择
xuweilin的博客
02-26 643
选择 Kafka如果：你需要处理大规模的日志流或事件流。你需要高吞吐量和低延迟的消息处理。你需要与大数据生态系统（如 Hadoop、Spark）集成。选择 RocketMQ如果：你需要强事务支持和严格的消息顺序。你在金融或电商领域，需要处理高并发交易。你希望简化部署和运维。最终的选择应根据你的具体需求、技术栈和团队经验来决定。
中间件面试题
04-26
### 中间件常见面试题及相关知识点 #### 关于中间件的基础概念 中间件是一种软件组件，位于操作系统和应用程序之间，用于连接不同的应用系统或服务[^1]。它提供了诸如消息传递、事务管理等功能，使得分布式系统的开发更加高效。 #### 消息队列的相关问题 以下是关于消息队列的一些常见面试题及其解答： 1. **消息队列的应用场景** - 应用解耦：通过引入消息队列，生产者和消费者可以独立扩展或修改而不影响对方。 - 异步处理：允许系统在后台逐步完成耗时操作，提升用户体验。 - 流量削峰：当请求流量过大时，可以通过消息队列缓冲请求，防止下游服务崩溃[^2]。 2. **引入消息队列可能带来的问题** - 数据一致性：在网络不稳定的情况下可能导致数据丢失或重复。 - 系统复杂度增加：增加了额外的运维成本和技术栈学习曲线。 - 消息延迟：某些情况下可能会导致业务逻辑无法实时响应。 3. **如何选择合适的消息队列** - 根据性能需求（吞吐量、延时）、可靠性要求（持久化能力）、功能特性（支持广播模式、死信队列等）来决定具体选型。 4. **常见的消息队列及特点** - Kafka：适合高吞吐量的日志收集与流数据分析场景；具有强大的水平扩展能力和分区机制。 - RabbitMQ：基于 AMQP 协议，提供丰富的路由策略和支持多种协议接入方式。 - RocketMQ：阿里巴巴开源项目，在大规模集群环境下表现出优秀的稳定性和高性能表现[^2]。 5. **避免消息被重复消费的方法** - 使用幂等设计原则，即使同一条消息多次到达也不会改变最终状态。 - 设置全局唯一 ID 并记录已处理过的消息标识符列表以便去重校验。 6. **保证消息消费顺序性的方法** - 对单个主题下的多个分区只分配给固定数量的工作线程进行拉取操作。 - 如果严格要求全序，则需禁用多分区并采用单一消费者模型[^2]。 7. **预防消息堆积现象的发生** - 提升消费者的并发能力以匹配生产速率。 - 定期监控队列长度变化趋势及时调整资源配置[^2]。 #### 事务管理中的挑战与解决方案 在一个典型的分布式环境中，为了保障跨服务调用的数据一致性，通常会涉及两阶段提交 (Two-phase Commit, 2PC) 或补偿事务的设计思路[^1]。然而这些传统做法往往伴随着较高的锁开销或者回滚风险，因此现代框架更倾向于推荐柔性事务理念——即牺牲部分强一致换取更高的可用性指标。 对于像 RocketMQ 这样的产品而言，其内置了专门应对此类难题的功能模块叫做“半消息”，配合后续确认动作共同构成了完整的事务语义实现链条。 ```python from rocketmq.client import Producer, Message producer = Producer('transaction_producer') producer.set_name_server_address('localhost:9876') def create_message(): msg = Message('TopicTest') msg.set_keys('Key') msg.set_tags('TagA') msg.set_body('Hello RocketMQ') return msg try: result = producer.send(msg=create_message(), block=True) except Exception as e: # Handle exception and decide whether to commit or rollback the transaction. pass finally: producer.shutdown() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值