RocketMQ 为什么性能不如 Kafka?

5V转±12V无变压器双boost电路 最近有个新项目,需要±10V范围的模拟量输出(非隔离),对于5V以下供电的控制板而言单端输出绝对没问题,可现在需要有正负输出,是少不了正负电源的,因此准备设计一个5V转±12V的电源,然后选择一个双向供电的运放,来实现单端模拟量信号向双向模拟量信号转换。 本文就来分享一下5V转±12V电源的设计。对于有类似双向电源需求的场合,大多使用变压器通过增加多个绕组来实现,而对于体积空间有要求的场合来讲,变压器实在是太大了,另外对于一些成熟的项目,变压器如果是已经设计好的,再额外增加绕组需要重新设计,费时费力。于是, 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

91bc0c9450c97713800700a872ab7927.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:小白debug


在上篇文章《rocketmq 是什么》中,我们了解到 RocketMQ 的架构其实参考了 kafka 的设计思想,同时又在 kafka 的基础上做了一些调整。看起来,RocketMQ 好像各方面都比 kafka 更能打。

c8128f39f0f6db9a95fed0b5830628f7.jpeg

但 kafka 却一直没被淘汰,说明 RocketMQ 必然是有着不如 kafka 的地方。是啥呢?性能 ,严格来说是吞吐量 。阿里中间件团队对它们做过压测,同样条件下,kafka 比 RocketMQ 快 50%左右。但即使这样,RocketMQ 依然能每秒处理 10w 量级的数据,依旧非常能打。你不能说 RocketMQ 弱,只能说 Kafka 性能太强了。

不过这就很奇怪了,为什么 RocketMQ 参考了 kafka 的架构,却不能跟 kafka 保持一样的性能呢 ?在回答这个问题之前,我们来聊下什么是零拷贝 。

零拷贝是什么

我们知道,消息队列的消息为了防止进程崩溃后丢失,一般不会放内存里,而是放磁盘上。那么问题就来了,消息从消息队列的磁盘,发送到消费者,过程是怎么样的呢?

消息的发送过程

操作系统分为用户空间 和内核空间 。程序处于用户空间,而磁盘属于硬件,操作系统本质上是程序和硬件设备的一个中间层 。程序需要通过操作系统去调用硬件能力。

dda55abf06202a6044839381d5e9bb3f.jpeg

如果用户想要将数据从磁盘发送到网络。那么就会发生下面这几件事:程序会发起系统调用 read(),尝试读取磁盘数据,

  • 磁盘数据从设备拷贝 到内核空间的缓冲区。

  • 再从内核空间的缓冲区拷贝 到用户空间。

程序再发起系统调用 write(),将读到的数据发到网络:

-数据从用户空间拷贝 到 socket 发送缓冲区 -再从 socket 发送缓冲区拷贝 到网卡。

最终数据就会经过网络到达消费者。

9329974e69fb422922c16ae72e8fb2fe.jpeg

整个过程,本机内发生了 2 次系统调用 ,对应 4 次用户空间和内核空间的切换 ,以及 4 次数据拷贝 。

ace3dad0c04580a34fe48d2dc8f592ff.jpeg

一顿操作猛如虎,结果就是同样一份数据来回拷贝。有没有办法优化呢?有,它就是零拷贝技术,常见的方案有两种,分别是 mmap 和 sendfile。我们来看下它们是什么。

mmap 是什么

mmap 是操作系统内核提供的一个方法,可以将内核空间的缓冲区映射 到用户空间。

3fd61297f68e0c4f927b1894791c2202.jpeg

用了它,整个发送流程就有了一些变化。程序发起系统调用 mmap(),尝试读取磁盘数据,具体情况如下:

  • 磁盘数据从设备拷贝 到内核空间的缓冲区。

  • 内核空间的缓冲区映射 到用户空间,这里不需要 拷贝。

程序再发起系统调用 write(),将读到的数据发到网络:

  • 数据从内核空间缓冲区拷贝 到 socket 发送缓冲区。

  • 再从 socket 发送缓冲区拷贝 到网卡。

f15c0f3164dd5ceddd78fab936cbf114.jpeg

整个过程,发生了 2 次系统调用,对应 4 次用户空间和内核空间的切换,以及 3 次数据拷贝,对比之前,省下一次 内核空间到用户空间的拷贝。

030de313711c837f87e06c3b5c0b7581.jpeg

看到这里大家估计也蒙了,不是说零拷贝吗?怎么还有 3 次拷贝。mmap 作为一种零拷贝技术,指的是用户空间到内核空间这个过程不需要拷贝,而不是指数据从磁盘到发送到网卡这个过程零拷贝。

79f729f82e52ed9d2000c210445ba804.jpeg

确实省了一点,但不多 。有没有更彻底的零拷贝?有,用 sendfile.

sendfile 是什么

sendfile,也是内核提供的一个方法,从名字可以看出,就是用来发送文件数据 的。程序发起系统调用 sendfile(),内核会尝试读取磁盘数据然后发送,具体情况如下:

  • 磁盘数据从设备拷贝 到内核空间的缓冲区。

  • 内核空间缓冲区里的数据可以 直接拷贝 到网卡。

2f5cf78918ee1f6a3a645572f346186f.jpeg

整个过程,发生了 1 次系统调用,对应 2 次用户空间和内核空间的切换,以及 2 次数据拷贝。这时候问题很多的小明就有意见了,说好的零 拷贝怎么还有 2 次拷贝?

be491ad58bada298af2f90d9df79f741.jpeg

其实,这里的零拷贝指的是零 CPU 拷贝。也就是说 sendfile 场景下,需要的两次拷贝,都不是 CPU 直接参与的拷贝,而是其他硬件设备技术做的拷贝,不耽误我们 CPU 跑程序。

kafka 为什么性能比 RocketMQ 好

聊完两种零拷贝技术,我们回过头来看下 kafka 为什么性能比 RocketMQ 好。这是因为 RocketMQ 使用的是 mmap 零拷贝技术,而 kafka 使用的是 sendfile 。kafka 以更少的拷贝次数以及系统内核切换次数,获得了更高的性能。但问题又来了,为什么 RocketMQ 不使用 sendfile?参考 kafka 抄个作业也不难啊?我们来看下 sendfile 函数长啥样。

ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);
// num = sendfile(xxx);

再来看下 mmap 函数长啥样。

void *mmap(void *addr, size_t length, int prot, int flags,
           int fd, off_t offset);
// buf = mmap(xxx)

注释里写的是两个函数的用法,mmap 返回的是数据的具体内容 ,应用层能获取到消息内容并进行一些逻辑处理。

ee467e8536f9b50169cdf21bbad57626.jpeg

而 sendfile 返回的则是发送成功了几个字节数 ,具体发了什么内容,应用层根本不知道 。

5c1a44bdb8ce6d6fd990b74def7c5514.jpeg

而 RocketMQ 的一些功能,却需要了解具体这个消息内容,方便二次投递等,比如将消费失败的消息重新投递到死信队列中,如果 RocketMQ 使用 sendfile,那根本没机会获取到消息内容长什么样子,也就没办法实现一些好用的功能了。

9e13e4f78d02dbf8a9f0cec842739ade.jpeg

而 kafka 却没有这些功能特性,追求极致性能,正好可以使用 sendfile。

除了零拷贝以外,kafka 高性能的原因还有很多,比如什么批处理,数据压缩啥的,但那些优化手段 rocketMQ 也都能借鉴一波,唯独这个零拷贝,那是毫无办法。

a766e62fba706889a13bb33611fc3117.jpeg

所以还是那句话,没有一种架构是完美的,一种架构往往用于适配某些场景,你很难做到既要又要还要。当场景不同,我们就需要做一些定制化改造,通过牺牲一部分能力去换取另一部分能力。做架构,做到最后都是在做折中。是不是感觉升华了。

kafka 和 RocketMQ 怎么选?

这时候大家估计还是想知道 kafka 和 RocketMQ 到底该怎么选,用哪个。官方点的回答是"这个要看场景的"。说了等于没说。这不是我的风格。我的标准只有一个,如果是大数据场景,比如你能频繁听到 spark,flink 这些关键词的时候,那就用 kafka。除此之外,如果公司组件支持,尽量用 RocketMQ。

现在大家通了吗?

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

总结

  • RocketMQ 和 kafka 相比,在架构上做了减法,在功能上做了加法

  • 跟 kafka 的架构相比,RocketMQ 简化了协调节点和分区以及备份模型。同时增强了消息过滤、消息回溯和事务能力,加入了延迟队列,死信队列等新特性。

  • 凡事皆有代价,RocketMQ 牺牲了一部分性能,换取了比 kafka 更强大的功能特性。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

ca8694bdd0359f6a1bdac19b65876196.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

493b0d4ecd630e1317ef9a746e4a77d0.png

78abca04e52cc43d680dfda1714f3065.pngf3a00362f2bf6abdc347c555c026d79e.pngb541a1069a7a9e82884393930aab025d.png7db0b615b66110157cdf4eb422b44477.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
Qt入门教程【Core篇】singal and slot信号与槽 Qt中信号与槽singal and slot 阅读详情

相关推荐

OCSP环境搭建--Windows Server 2016

OCSP环境搭建--Windows Server 2016 一. OCSP环境中相关信息 1. 服务器1 操作系统:Win Server 2016 Standard版 IP地址:172.16.0.19/23,网关:172.16.0.1,首选DNS:127.0.0.1 服务器角色:域控制器、证书颁发机构、radius服务器、DNS服务器 ...

CsdnCHong_566的博客 3357

RocketMQ与kafka的区别

一、前言 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用MySQL作为消息存储媒介,支持水平扩容。为了进一步降低成本,阿里中间件团队认为Notify可进一步优化。 2011年初,Linkedin开源了kafka, 阿里中间件团队在对kafka做了充分的review之后,被kafka的无限消息堆积能力、高效的持久化速度深深吸引,但同时发现kafka主要定位于日志传输,对于使用在淘...

胜天半子 4万+

手把手教你编写PCIe设备驱动:基于Linux内核的实战教程

本文详细介绍了基于Linux内核的PCIe设备驱动开发全流程,包括环境准备、设备探测、中断处理、DMA配置等核心内容。通过实战代码示例和Makefile编写指南,帮助开发者快速掌握PCIe驱动开发技术,实现高性能设备驱动开发与优化。

weixin_30687051的博客 194

读懂消息队列:Kafka与RocketMQ

3月份学完了极客时间的《消息列队高手课》专栏,专栏讲解了许多消息队列的基础知识并且对Kafka与RocketMQ两种主流消息队列有精彩的对比分析。学完专栏后将所有要点整理为笔记记录下来。

Hopefully Sky的博客 1万+

Quartz定时任务调度框架中的Misfire策略实战解析

本文深入解析了Quartz定时任务调度框架中的Misfire(失火)处理策略。针对SimpleTrigger和CronTrigger两种常用触发器,详细对比了其各自的Misfire指令(如NowWithExistingCount、FireAndProceed等)的核心行为与适用场景,并提供了基于不同业务需求(如数据补跑、时间点敏感度)的实战选型指南,帮助开发者构建更健壮可靠的任务调度系统。

weixin_29250573的博客 78

CAN收发器选型避坑指南:TJA1051T与TJA1051T/3的硬件兼容性问题实录

本文详细解析了CAN收发器TJA1051T与TJA1051T/3的硬件兼容性问题,通过实测数据和故障案例揭示了VIO引脚的关键差异及其对系统的影响。提供从选型到验证的完整防坑方案,帮助开发者避免常见设计错误,确保CAN总线通信的稳定性。

weixin_42715608的博客 465

RocketMQ与Kafka深度对比:特性与适用场景解析

在分布式系统中,消息队列作为解耦、缓冲和异步通信的关键组件,其选择对于系统的性能和稳定性至关重要。本文将详细对比RocketMQ与Kafka在数据可靠性、实时性、队列数与性能、消息顺序性、适用场景等方面的差异,帮助读者根据实际需求做出更明智的选择。而对于处理海量数据流的场景,Kafka则更具优势。这种高队列数支持得益于RocketMQ的队列模型设计,使得它在处理海量消息时具有更高的吞吐量和更低的延迟。RocketMQ支持严格的消息顺序,即使在一台Broker宕机的情况下,也能通过其他机制保证消息的有序性。

码到三十五 1万+

【QMIX】一种基于Value-Based多智能体算法

文章目录1. QMIX 解决了什么问题(Motivation)2. QMIX 怎样解决团队收益最大化问题(Method)2.1 算法大框架 —— 基于 AC 框架的 CTDE(Centralized Training Distributed Execution) 模式 QMIX 是一种基于 Value-Based 的多智能体强化学习算法(MARL),其基本思想来源于 Actor-Critic 与 DQN 的结合。使用中心式学习(Centralized Learning)分布式执行(Distributed

qq_38638132的博客 9862

RocketMQ与Kafka架构深度对比_kafka与rocketmq多方面剖析

外链图片转存中…(img-OsrRK31S-1712532856583)]

2401_84166836的博客 2207

Java开发者终极抉择:IntelliJ IDEA vs VS Code —— 4大维度深度对比评测

🔥关注墨瑾轩,带你探索Java的奥秘!🚀🔥超萌技术攻略,轻松晋级编程高手!🚀🔥技术宝库已备好,就等你来挖掘!🚀🔥订阅墨瑾轩,智趣学习不孤单!🚀🔥即刻启航,编程之旅更有趣!🚀在Java开发领域,选择合适的集成开发环境(IDE)对于提高开发效率和代码质量至关重要。和(简称VS Code)是两个广受好评的开发工具,各自拥有独特的特性和庞大的用户群。本篇将从多个维度深入探讨这两款IDE对Java开发者来说的优劣,包括但不限于性能、用户体验、生态系统、调试能力、以及特定Java功能的支持等方面。

java专栏 8594

CAPL自动化测试

通过本文的学习,读者应该对CAPL自动化测试有了初步的了解,并能够编写复杂的CAPL脚本。在实际项目中,CAPL的应用非常广泛,希望读者能够通过不断的学习和实践,掌握更多的CAPL技巧,提高自己的开发能力。

闲人编程的博客 1531

为什么选择RocketMQ,而不是Kafka

一个复杂的分布式系统,必然会考虑使用MQ来解决通讯解耦等问题,市面上开源的MQ越来越多,也让选择变得越来越难,比如Kafka,RabbitMQ,RocketMQ,让人看得眼花缭乱,好像每个MQ都很强大,究竟使用哪个真是无从下手;而在一次技术选型中,我们落地了RocketMQ,而不是Kafka或者其他,以下也对这次选择做一次总结,讲述以下RocketMQ和Kafka的比较。 性能 在性能方面,Kafka是优于RocketMQ的,可以达到几十万的TPS,而RocketMQ很难超过10W TPS,但是这是有提前的

u011539836的专栏 2112

OSCP-Challenge 2 - Relia

使用andrea:PasswordPassword_6登录远程桌面,在c盘根目录下发现一个计划任务的ps,文件,修改执行的exe位木马,获取到milana用户的反弹shell。,发现开放了一个8000端口,但是我们外部是访问不到的,它对应的页面是/var/www/internal/,这个目录下的文件我们是可以访问的,把这个文件打个包放到本地分析下。其中数据的可以直接连接mssql,但是端口是49965,不过在数据库中没发现什么可用的信息,但是可以修改密码直接进后台,这个可以先放放。

羽的博客 7782

Kafka与RocketMQ性能对比大揭秘

从文件布局、数据写入方式、消息发送三个方面剖析RocketMQ与Kafka的性能差异的原因。

中间件兴趣圈 1万+

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Kafka 性能为什么比RocketMQ 高

在消息队列领域,Kafka 和 RocketMQ 都是备受关注的产品。整个过程发生了两次系统调用,对应 4 次用户空间和内核空间的切换以及 3 次数据拷贝,相比传统方式省下了一次内核空间到用户空间的拷贝。但需要注意的是,mmap 所说的 “零拷贝” 是指用户空间到内核空间这个过程不需要拷贝,并非数据从磁盘发送到网卡的整个过程没有拷贝。这里所说的 “零拷贝” 指的是 0 CPU 拷贝,在 sendfile 场景下需要的两次拷贝都是由 DMA 控制器完成,不占用 CPU 资源,不耽误 CPU 运行其他程序。

u012875451的博客 1275

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Kafka 与 RocketMQ 性能对比

Kafka 与 RocketMQ 性能对比

杨宇昌的博客 2783

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

RocketMQ是参考kafka进行实现的为什么rocketMQ与kafka性能差距很大呢?

我没有在文档与书籍中看到为什么 rocketMQ 要使用混合储存的方式,但是我在探究他们的不同的时候发现 kafka 存在分区数量庞大(10000+)会导致性能下降的问题.调整中心节点: rocketMQ 使用的无状态的 nameserv 的模式,只储存他们的端口消息,不储存元数据,在大 topic 的情况下对中心节点的影响很小。采用混合储存的方式减少文件的数量(文件数量减少 1/3)

dengjiayue的博客 1131

RocketMQ--为什么性能不如Kafka?

本文介绍RocketMQ为什么性能不如Kafka?阿里中间件团队对它们做过压测,同样条件下,kafka 比 RocketMQ 快 50% 左右。为什么 RocketMQ 参考了 Kafka 的架构,却不能跟 kafka 保持一样的性能呢?

IT利刃出鞘的博客 1044

Kafka与RocketMQ性能对比

Kafka 搭建的日志集群单个Topic可以达到几百万的TPS,而使用RocketMQ组件的核心业务集群,集群TPS只能达到几十万TPS。 温馨提示:TPS只是众多性能指标中的一个,我们在做技术选型方面要从多方面考虑,本文并不打算就消息中间件选型方面投入太多笔墨,重点想尝试剖析两者在性能方面的设计思想。 1、文件布局 1.1 Kafka 文件布局 Kafka 文件在宏观上的布局如下图所示: 正如上图所示,Kafka 文件布局的主要特征如下: 文件的组织以 topic + 分区进行组织,每一个 topic

xingdianp的博客 536

Kafka 与 RocketMQ 的性能大对比!

作者 |唯有坚持不懈责编 | 张文头图 | 优快云 下载自视觉中国在双十一过程中投入同样的硬件资源,Kafka 搭建的日志集群单个Topic可以达到几百万的TPS;而使用Rocket...

优快云资讯 1850

Kafka 性能为什么比 RocketMQ 好

而 RocketMQ 的一些功能,却需要了解具体这个消息内容,方便二次投递等,比如将消费失败的消息重新投递到死信队列中,如果 RocketMQ 使用 sendfile,那根本没机会获取到消息内容长什么样子,也就没办法实现一些好用的功能了。除了零拷贝以外,kafka 高性能的原因还有很多,比如什么批处理,数据压缩啥的,但那些优化手段 rocketMQ 也都能借鉴一波,唯独这个零拷贝,那是毫无办法。我们可以看到注释里写的是两个函数的用法,注释里写的是两个函数的用法,,应用层能获取到消息内容并进行一些逻辑处理。

weixin_43281498的博客 1013

为什么 kafka 性能下降这么快,我用 RocketMQ 的时候不会这样子

不同消费者下的消费者,可以同时消费同一个 topic 下的相同的队列的消息。每个 slot 中放的指针值是索引在 indexfile 中的偏移量,也就是后面 index 的位置,而 index 中存放的就是该消息在 commitlog 文件中的 offset,每个 index 的大小是 20 字节,所以根据当前索引是这个文件中的第几个偏移量,也就很容易定位到索引的位置,根据前面的固定大小可以很快把真实坐标算出来,以此类推,形成一个链表的结构。2000w 个 index 条目,每个 20 字节。

lxmtim的博客 581

在kafka当中 为什么topic过多 会影响性能 而rocketMQ当中不会呢

在。

m0_37607945的博客 1918

RocketMQ 专家丁威:Kafka 和 RocketMQ 从性能角度对比

丁威‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍《RocketMQ 技术内幕》‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍作者读完需要10分钟速读仅需 3 分钟在双十一过程中投入同样的硬件资源,Ka...

中生代技术 1158
上一篇: 工作 6 年,@Transactional 注解用的一塌糊涂
下一篇: 某公司领导:我不喜欢提拔老实人,因为老实人一般除了老实和干活踏实之外,在职场基本没其他优点...
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值