架构篇:Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

rocketmq零拷贝技术底层实现 零拷贝是指在数据传输过程中,尽量避免 CPU 在用户空间和内核空间之间、以及内核空间内部进行不必要的数据拷贝,从而减少上下文切换和 CPU 开销,提升 I/O 性能。RocketMQ 通过零拷贝技术优化了消息的存储和网络传输效率。RocketMQ 的零拷贝通过 mmap + write 实现,利用内存映射技术将磁盘文件映射到共享内存,避免了用户空间和内核空间之间的数据拷贝。结合 Java NIO 的 MappedByteBuffer,RocketMQ 在消息存储和传输中实现了高效的 I/O 操作。 阅读详情

众所周知,Kafka和RocketMQ高性能除了本身的某些设计之后,最重要的是实现零拷贝技术。通过采用零拷贝大大提供了应用性能,减少了内核和用户模式之间的上下文切换次数。那么什么是零拷贝,如何实现零拷贝呢?

什么是零拷贝

WIKI中对其有如下定义:

"Zero-copy" describes computer operations in which the CPU does not perform the task of copying data from one memory area to another.

从WIKI的定义中,我们看到“零拷贝”是指计算机操作的过程中,CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时,不需要将文件内容拷贝到用户空间(User Space)而直接在内核空间(Kernel Space)中传输到网络的方式。

零拷贝给我们带来的好处

  • 减少甚至完全避免不必要的CPU拷贝,从而让CPU解脱出来去执行其他的任务
  • 减少内存带宽的占用
  • 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换

零拷贝的实现

零拷贝实际的实现并没有真正的标准,取决于操作系统如何实现这一点。零拷贝完全依赖于操作系统。操作系统支持,就有;不支持,就没有。不依赖Java本身。

传统I/O

我们以文件下载为例。

在传统LINUX环境中,分为用户空间和内核空间。用户空间可以理解为JVM,JVM是没有权利去调用启动对进程的权限的,因为这部分内容是CPU的内核空间控制。所以,如果要下载文件,JVM先启动一个线程首先得去内核空间申请这一个请求,进行read操作,当内核空间从磁盘开始读文件时,根据LINUX内部机制,会首先将数据放到页缓存中,当页缓存达到存储容量后,进行刷盘,统一将所有数据刷到内存,这时JVM读到数据后,进行后续的写操作。同样,对应的socket层和网络是LINX控制,还需要继续拷贝数据导socket和网络层将数据写到本地。如下图:

架构篇:Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

由图可知,上面过程产生了四次数据拷贝,而此过程,我们没有对文件内容进行任何修改,那么,在内核空间和用户空间中来回拷贝数据无意是对性能的一种浪费,而零拷贝就是为了解决这种低效性。

什么是零拷贝技术?

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储,主要就是利用各种零拷贝技术,避免让CPU做大量的数据拷贝任务,减少不必要的拷贝,或者让别的组件来做这一类简单的数据传输任务,让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效。

原理是磁盘上的数据会通过DMA被拷贝的内核缓冲区,接着操作系统会把这段内核缓冲区与应用程序共享(可以理解为Kafka或RocketMQ通过某种技术手段进行了映射),这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中,这一切都发生在内核态,最后,socket缓冲区再把数据发到网卡去。

原理如下:

架构篇:Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

解释:

mmap是一种内存映射文件的方法。

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。

对于零拷贝来说,现在应用范围越来越广,比如NIO等,其实对于Kafka和RokectMQ来说,零拷贝技术只是其提高性能的一种手段,关于其他的各自独有设计,会后续持续更新,欢迎关注。

以上为全部内容。

Kafka工作原理详解 Kafka工作原理详解, 非常实用的文档,建议下载收藏。 立即下载

相关推荐

Yakit实战:利用验证码识别插件突破Webfuzzer自动化测试瓶颈

本文详细介绍了如何利用Yakit的Webfuzzer模块结合验证码识别插件,突破自动化安全测试中的验证码瓶颈。通过实战演示,讲解了如何部署本地OCR服务、编写热加载脚本,实现从获取验证码到自动识别并替换的全流程自动化,从而让Webfuzzer能够高效、无人值守地进行大规模密码喷洒等测试。

weixin_29323493的博客 284

Rocketmq和Kafka用到的zero copy,以及存储方面的相关思考

因为项目原因做过消息组件的研发,总结以下rocketmq和kafka涉及到的零拷贝技术。 RocketMQ 1.mmap内存映射文件 传统的读写数据,write/read系统调用, 必须先把数据从磁盘拷贝至到内核缓冲区中(页缓冲),然后再拷贝到用户进程(内核态-》用户态)。 用了mmap,把内核中特定部分的内存空间映射到用户级程序的内存空间去。用户空间和内核空间共享一块相同的内存。内核在这块地址内...

linqi的博客 1299

LAMMPS实操系列(一): 大量FCC-CoCrCuFeNi高熵合金建模与最稳定结构筛选

高熵合金(High-entropy alloys,HEA),是由五种或五种以上等量或大约等量金属形成的合金。由于高熵合金可能具有许多优秀的物理化学性质,因此在材料科学领域受到广泛关注

Ceshigo_CD的博客 3259

横贯八方揭秘RabbitMQ、RocketMQ、Kafka 的核心原理(建议收藏)

靓仔,我们又见面了。公众号改了推送规则,设置星标才能及时收到推送哦今天我们通过一篇文章来认识一下常见消息队列RabbitMQ、RocketMQ、Kafka。RabbitMQRabbitMQ各组件的功能Broker :一个RabbitMQ实例就是一个BrokerVirtual Host :虚拟主机。相当于MySQL的DataBase,一个Broker上可以存在多个vhost,vhost之间相互隔离。...

路人甲Java 831

基于CANopenNode协议栈在正点原子探索者开发板上进行移植

配置好之后进行采用keil IDE进行代码生成即可,还需要进行CANopenNode的代码集成,并参照demo进行代码移植。发送完成后心跳包以1s的周期重新开始发送。正点原子的开发板引出的是CAN1接口。这里的心跳时间间隔设置为100ms。则将心跳包周期设置为0。

wangfandashe的博客 4703

AMESim柱塞泵建模全指南:从HCD库搭建到联合仿真

液压系统仿真中,轴向柱塞泵的建模始终是难点与热点。柱塞泵结构紧凑、功率密度高,在工程机械与航空航天领域应用广泛,然而其运动学与流体细节深度耦合,给仿真带来不小挑战。AMESim平台中的HCD库提供了一种从物理结构出发的建模思路,将柱塞泵分解为容积腔、节流口与机械约束等基础单元,从而真实刻画柱塞腔压力波动、配流特性和容积效率等关键行为,摆脱黑盒模型的局限。基于机理建模的仿真结果,可用于泵参数优化、故障特征分析以及控制策略验证。进一步结合AMESim与Simulink联合仿真,可以高效开发变量泵排量控制系统,研

weixin_29159441的博客 290

RabbitMQ、RocketMQ、Kafka性能为何差距如此之大?

MQ的作用解耦、异步、削峰填谷。mysql并发写大部分情况下维持在600-800之间,并发读1200-1500之间,所以消费端在消费消息的时候需控制在并发小于1000,从而达到限流的效果。mq做个缓冲,消息放到磁盘,几个G或上t都可以存储,消息丢失的可能性比较小。

m88997766的博客 836

STM实战开发(13):STM32开发:使用光敏电阻检测光照强度

光敏电阻(LDR)是一种电阻值受光照强度影响的半导体材料。当光照强度增大时,光敏电阻的电阻值降低;而当光照强度减小时,电阻值则增大。光敏电阻的电阻变化与入射光的强度之间并不是线性关系,而是呈对数型的变化。LDR通常由硫化镉(CdS)或其他半导体材料构成,材料对不同波长的光有不同的响应特性。一般而言,光照强度越强,光敏电阻的电阻值越低,反之则越高。本文介绍了如何使用STM32与光敏电阻(LDR)结合,进行光照强度检测的实现方法。通过配置STM32的ADC模块,读取光敏电阻的电压信号,并根据电压计算光照强度。

2201_76125393的博客 3020

Kafka和RocketMQ的消息复制实现的差异点在哪?

业务上对高性能、高可用、高一致性(CAP)选择的不同,会形成一种截然不同的消息复制方案。rocketmq,更倾向于把所有消息写入同一个文件,这样不管是复制还是消费的时候都比较快速和简单,特点是同主从的方式来进行集群的搭建。kafka则是,把消息文件按topic来存储,这样的好处是更加易读,可配置性也更强。而且集群的搭建方式是通过副本来构建集群的。目前他们都是需要通过一个中间件来进行高可用的主节点选举,只不过一个rockemq用的是自己的namesr服务,kafka用的是zk。

migo_的专栏 311

开源项目-智能算法中台管理系统

智能算法中台管理系统,系统主要有样本中心,算法中心,模型中心等模块

u010479989的博客 3004

【用unity实现100个游戏之15】开发一个类保卫萝卜的Unity2D塔防游戏5(附项目源码,完结)

本期是本项目的最后一篇,主要内容是配置环境、生成不同敌人、结束重开。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 2576

零拷贝原理+kafka中的零拷贝

零拷贝原理+mmp优化零拷贝+sendfile优化零拷贝+kafka中的零拷贝

m0_50546235的博客 4201

手把手教你学PCIE(2.1.23)--PCIe基本概念:链路速率协商

链路速率协商是一个多步骤的过程,确保发送端和接收端之间的链路速率设置一致。通过初始化链路速率寄存器、发送和接收 TS2 序列、检测链路对端的存在、交换链路速率信息、确定最大链路速率和配置链路速率,可以确保 PCIe 设备之间的数据传输速度最大化,从而提高数据传输效率。初始化链路速率寄存器:设置支持的最大链路速率。发送和接收 TS2 序列:检测链路对端的存在。交换链路速率信息:发送和支持的最大链路速率。确定最大链路速率:选择最小值作为最终链路速率。配置链路速率:更新链路速率寄存器。

MHD0815的博客 1817

读懂消息队列:Kafka与RocketMQ

3月份学完了极客时间的《消息列队高手课》专栏,专栏讲解了许多消息队列的基础知识并且对Kafka与RocketMQ两种主流消息队列有精彩的对比分析。学完专栏后将所有要点整理为笔记记录下来。

Hopefully Sky的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

消息中间件(RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ等)的定义、组成、特点、优缺点、应用场景&面试题

大家都参与过网上电商平台的秒杀活动吧,一般的秒杀活动辄几百万的参与人数,而“双十一”的参与人数更是已“亿”为计量单位。那么这些电商平台的系统架构是怎样的,它们是如何做到承担每秒几万、几十万的并发访问请求的,所有的请求都是直接落到数据库的吗?当然,数据库不可能承担如此高的负载请求,那这些系统架构引入了哪些“大杀器”呢?这篇文章将讲解其中的关键技术之一消息中间件,并在文章中进一步对消息中间件做详细的讲解。 1. 消息队列 1.1什么是消息队列 消息队列(Message queue,简称MQ),是指利用

Allenzyg的博客 2万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Kafka干货之「零拷贝」

其实这里主要是与硬件兼容,现在多数厂商的硬件,单次扫数据的大小一般都是4K对齐的,很多硬件都提升到了8K甚至16K,稀疏索引设置为4K,能保证即便是当前的 Record Batch 只有 1 个字节,后续的内容也能缓存在Page Cache中,下次扫描的时候,可以直接从缓存中读取,而不用扫描磁盘。其实这里使用的是二分查找,当知道某个队列的起始结束offset,快速定位其中的某个offset时,二分查找是个非常不错的方案,具体实现类在scala/kafka/log/AbstractIndex.scala。

sjzsylkn的专栏 1413

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Kafka和RocketMQ零拷贝对比

在 Apache RocketMQ 和 Apache Kafka 中,零拷贝(Zero Copy)是一种优化数据传输的技术,旨在减少数据在用户空间和内核空间之间的拷贝,从而提升性能。两者的实现方式有所不同,分别基于操作系统的不同特性。RocketMQ 主要使用 mmap(内存映射)结合 write 的方式实现零拷贝,适用于业务消息的小文件传输和持久化场景。两者都利用了操作系统的零拷贝特性,但设计目标不同:Kafka 追求吞吐量,RocketMQ 强调低延迟和可靠性。

小诸葛的博客 1397

RocketMQ~高性能设计与实现(零拷贝技术)、多种集群模式

与Kafka类似,RocketMQ也使用了零拷贝技术、对于分区,其也有分队列的思维在。

Shangxingya的博客 1014

Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点

文章目录1 MQ面试1.1 问题引入1.2 面试题剖析1.2.1 为什么使用消息队列1.2.1.1 解耦1.2.1.2 异步1.2.1.3 削峰1.2.2 消息队列有什么优缺点1.2.3 Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点 1 MQ面试 1.1 问题引入 为什么使用消息队列? 消息队列有什么优点和缺点? Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景? 面试官心理分析 其实面试官主要是想看看: 你知不知道你们系统

上善若泪 2240

Kafka、RocketMQ、RabbitMQ三款消息中间件的原理

对于点对点的模式而言,消息被消费以后,队列中不会再存储,所以消息消费者不可能消费到已经被消费的消息。消息是信息的载体,为了让生产者和消费者都能理解所承载的信息(生产者需要知道如何构造消息,消费者需要知道如何解析消息),它们就需要按照一种统一的格式描述消息,这种统一的格式称之为消息协议。对于消息而言,经常面临的问题是“消息丢失”,至于是真正由于消息中间件的缺陷丢失还是由于使用方的误用而丢失一般很难追查,如果消息中间件本身具备消息回溯功能的话,可以通过回溯消费复现“丢失的”消息进而查出问题的源头之所在。

zhangming1013的专栏 1291

RocketMQ原理详解——零拷贝机制

参考: 原来 8 张图,就可以搞懂「零拷贝」了 - 小林coding - 博客园 (cnblogs.com) RocketMq中零拷贝 - 简书 (jianshu.com) linux零拷贝原理,RocketMQ&Kafka使用对比 - 云+社区 - 腾讯云 (tencent.com) [Java文件映射mmap]全接触 (douban.com) 原始版本 一台服务器把本机磁盘文件的内容发送到客户端,一般分为两个步骤: read:读取本地文件内容; write:将读取的内容通过网络发送出去。 这两个.

wukuruaCL的博客 5820

Kafka 和 RocketMQ 底层存储之那些你不知道的事

来源 |yes的练级攻略头图 | 优快云付费下载自图虫大家好,我是yes。我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的,那为什么消息存磁盘读写还可以这么快?有没...

优快云资讯 3571

Kafka 性能为什么比 RocketMQ 好

而 RocketMQ 的一些功能,却需要了解具体这个消息内容,方便二次投递等,比如将消费失败的消息重新投递到死信队列中,如果 RocketMQ 使用 sendfile,那根本没机会获取到消息内容长什么样子,也就没办法实现一些好用的功能了。除了零拷贝以外,kafka 高性能的原因还有很多,比如什么批处理,数据压缩啥的,但那些优化手段 rocketMQ 也都能借鉴一波,唯独这个零拷贝,那是毫无办法。我们可以看到注释里写的是两个函数的用法,注释里写的是两个函数的用法,,应用层能获取到消息内容并进行一些逻辑处理。

weixin_43281498的博客 1013

Netty、Kafka中的零拷贝技术到底有多牛?

我们也经常在 Java NIO,Netty,Kafka,RocketMQ 等框架中听到零拷贝,它经常作为其提升性能的一大亮点;下面从 I/O 的几个概念开始,进而再分析零拷贝。 I/O 概念 缓冲区 缓冲区是所有 I/O 的基础,I/O 讲的无非就是把数据移进或移出缓冲区;进程执行 I/O 操作,就是向操作系统发出请求,让它要么把缓冲区的数据排干(写),要么填充缓冲区(读)...

spring_root的博客 1234

Kafka 与 RocketMQ 性能对比

Kafka 与 RocketMQ 性能对比

杨宇昌的博客 2783
上一篇: VUE项目之搭建环境
下一篇: springboot集成Seata升级避坑之undo序列化方式选择
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值