深入探索Linux零拷贝原理

深入探索linux的零拷贝(zero-copy):底层技术原理与代码实现 I/O 或输入/输出通常意味着中央处理器(CPU) 与外部设备(如磁盘、鼠标、键盘等)之间的读写。在深入研究零拷贝之前,有必要指出磁盘 I/O(包括磁盘设备和其他块导向设备)和网络 I/O之间的区别。磁盘 I/O 的常用接口是 read()、write() 和 seek()。同时,网络 I/O 的接口通常是套接字相关接口。套接字接口背后发生的事情是发送方和接收方计算机创建自己的套接字,并设置发送或接收文件的连接。 阅读详情

前言

磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存 10 倍以上,所以针对优化磁盘的技术非常的多,比如零拷贝、直接 I/O、异步 I/O 等等,这些优化的目的就是为了提高系统的吞吐量。

DMA技术

在没有DMA技术之前,IO过程是这样的:

​可以看到,整个数据的传输过程,都要需要 CPU 亲自参与搬运数据的过程,而且这个过程,CPU 是不能做其他事情的。当我们用千兆网卡或者硬盘传输大量数据的时候,都用 CPU 来搬运的话,肯定忙不过来。

DMA即直接内存访问(*Direct Memory Access*) 技术:在进行 I/O 设备和内存的数据传输的时候,数据搬运的工作全部交给 DMA 控制器,而 CPU 不再参与任何与数据搬运相关的事情,这样 CPU 就可以去处理别的事务。

​也就是说等待磁盘读取数据并将其拷贝到内核空间这部分工作交给了DMA控制器,解放CPU,从而让CPU做更重要的事情。

文件传输过程及优化

如果我们需要将文件读取出来,然后通过网络协议发送给客户端

read(file,buf,len);
write(socket,buf,len);

传统 I/O 的工作方式是,数据读取和写入是从用户空间到内核空间来回复制,而内核空间的数据是通过操作系统层面的 I/O 接口从磁盘读取或写入。

​期间一共发生4次用户态和内核态的上下文切换,因为一次系统调用需要来回两次切换。

还发生了4次数据拷贝操作,其中两次是 DMA 的拷贝,另外两次则是通过 CPU 拷贝的。过多的数据拷贝无疑会消耗 CPU 资源,大大降低了系统性能。

这种简单又传统的文件传输方式,存在冗余的上文切换和数据拷贝,在高并发系统里是非常糟糕的,多了很多不必要的开销,会严重影响系统性能。

所以,要想提高文件传输的性能,就需要减少「用户态与内核态的上下文切换」和「内存拷贝」的次数。

如何减少内核态和用户态之间的切换的次数呢?

读取磁盘数据的时候,之所以要发生上下文切换,这是因为用户空间没有权限操作磁盘或网卡,内核的权限最高,这些操作设备的过程都需要交由操作系统内核来完成,所以一般要通过内核去完成某些任务的时候,就需要使用操作系统提供的系统调用函数。

而一次系统调用必然会发生 2 次上下文切换:首先从用户态切换到内核态,当内核执行完任务后,再切换回用户态交由进程代码执行。

所以,要想减少上下文切换到次数,就要减少系统调用的次数。

如何减少内存拷贝次数呢?

「从内核的读缓冲区拷贝到用户的缓冲区里,再从用户的缓冲区里拷贝到 socket 的缓冲区里」,这个过程是没有必要的。

因为文件传输的应用场景中,在用户空间我们并不会对数据「再加工」,所以数据实际上可以不用搬运到用户空间,因此用户的缓冲区是没有必要存在的。

C/C++Linux服务器开发高级架构师/C++后台开发架构师​免费学习地址

另外还整理一些C++后台开发架构师 相关学习资料,面试题,教学视频,以及学习路线图,免费分享有需要的可以自行添加:Q群:720209036 点击加入~ 群文件共享,详情看以下视频

Linux C/C++后台开发学习资源整理,包括教学视频,文档,面试题,学习路线图

零拷贝技术

零拷贝(Zero-Copy)是一种 I/O 操作优化技术,可以快速高效地将数据从文件系统移动到网络接口,而不需要将其从内核空间复制到用户空间。

因此零拷贝技术只传输文件的原始内容,不允许进程对文件内容作进一步的加工的,比如压缩数据和加密。

目前只有在使用NIO和Epoll传输时才可以使用该特性。

零拷贝技术实现的方式通常有 2 种:

  • mmap + write

buf = mmap(file, len);
write(sockfd, buf, len);

现在操作系统都使用虚拟内存,好处是:

1、多个虚拟内存可以指向同一块物理地址

2、虚拟内存的空间可以远大于物理内存的空间 正是有了虚拟内存的出现,我们可以把内核空间和用户空间的虚拟地址映射到同一块物理地址上,这样在IO操作时就不用来回复制来。 mmap() 系统调用函数会直接把内核缓冲区里的数据「映射」到用户空间,这样,操作系统内核与用户空间就不需要再进行任何的数据拷贝操作。

当DMA将数据拷贝到内核缓冲区中后,应用进程跟内核共享这个缓冲区。 应用进程再调用 write(),操作系统直接将内核缓冲区的数据拷贝到 socket 缓冲区中,这一切都发生在内核态,由 CPU 来搬运数据。

但这还不是最理想的零拷贝,因为仍然需要通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里,而且仍然需要 4 次上下文切换,因为系统调用还是 2 次。

  • sendfile

在 Linux 内核版本 2.1 中,提供了一个专门发送文件的系统调用函数 sendfile()。

首先,它可以替代前面的 read() 和 write() 这两个系统调用,这样就可以减少一次系统调用,也就减少了 2 次上下文切换的开销。

其次,该系统调用,可以直接把内核缓冲区里的数据拷贝到 socket 缓冲区里,不再拷贝到用户态,这样就只有 2 次上下文切换,和 3 次数据拷贝。

这也不是真正的零拷贝,因为还是有CPU的参与。 于是,从 Linux 内核 2.4 版本开始起,对于支持网卡支持 SG-DMA 技术的情况下, sendfile() 系统调用的过程发生了点变化。CPU不做数据拷贝,而只是将缓存区里的内存地址和偏移量记录到相应的socket缓冲区里,SG-DMA 控制器直接将内核缓存中的数据拷贝到网卡的缓冲区里。

整个过程只有2次数据拷贝,两次上下文切换。整体来说可以把文件传输性能提升一倍以上。 这就是所谓的零拷贝技术,全程没有CPU来搬运数据,所有数据都是通过DMA完成的。

  • splice splice 系统调用可以在内核空间的读缓冲区(read buffer)和网络缓冲区(socket buffer)之间建立管道(pipeline),从而避免了两者之间的 CPU 拷贝操作。 splice使用了 Linux 的管道缓冲机制,可以用于任意两个文件描述符中传输数据,但是它的两个文件描述符参数中有一个必须是管道设备。

整个过程发生2次上下文切换和2次DMA拷贝,CPU只是在内核缓冲区和socket缓冲区之间建立管道。

kafka就使用了零拷贝技术,这也是 Kafka 在处理海量数据为什么这么快的原因之一。

kafka文件传输的代码最终调用的是JAVA NIO库里的transferTo方法,如果 Linux 系统支持 sendfile() 系统调用,那么 transferTo() 实际上最后就会使用到 sendfile() 系统调用函数。

nginx默认也是开启零拷贝技术。

PageCache(内核缓冲区)作用

PageCache就是上面所说的内核缓冲区,它实际上是磁盘高速缓存。

零拷贝技术是基于 PageCache 的,PageCache 会缓存最近访问的数据,提升了访问缓存数据的性能,同时,为了解决机械硬盘寻址慢的问题,它还协助 I/O 调度算法实现了 IO 合并与预读,这也是顺序读比随机读性能好的原因。这些优势,进一步提升了零拷贝的性能。

用PageCache 来缓存最近被访问的数据,读磁盘数据的时候,优先在 PageCache 找,如果数据存在则可以直接返回;如果没有,则从磁盘中读取,然后缓存 PageCache 中。

还有一点,读取磁盘数据的时候,需要找到数据所在的位置,但是对于机械磁盘来说,就是通过磁头旋转到数据所在的扇区,再开始「顺序」读取数据,但是旋转磁头这个物理动作是非常耗时的,为了降低它的影响,PageCache 使用了「预读功能」。

比如,假设 read 方法每次只会读 32 KB 的字节,虽然 read 刚开始只会读 0 ~ 32 KB 的字节,但内核会把其后面的 32~64 KB 也读取到 PageCache,这样后面读取 32~64 KB 的成本就很低,如果在 32~64 KB 淘汰出 PageCache 前,进程读取到它了,收益就非常大。

所以,PageCache 的优点主要是两个:

  • 缓存最近被访问的数据;

  • 预读功能;

这两个做法,将大大提高读写磁盘的性能。

但是,在传输大文件(GB 级别的文件)的时候,PageCache 会不起作用,那就白白浪费 DMA 多做的一次数据拷贝,造成性能的降低,即使使用了 PageCache 的零拷贝也会损失性能。

这是因为如果你有很多 GB 级别文件需要传输,每当用户访问这些大文件的时候,内核就会把它们载入 PageCache 中,于是 PageCache 空间很快被这些大文件占满。

另外,由于文件太大,可能某些部分的文件数据被再次访问的概率比较低,无法享受缓存带来的优势。

所以,针对大文件的传输,不应该使用 PageCache,也就是说不应该使用零拷贝技术,因为可能由于 PageCache 被大文件占据,而导致「热点」小文件无法利用到 PageCache,反而由于多做一次的数据拷贝损失性能。这样在高并发的环境下,会带来严重的性能问题。

大文件传输实现方式

前面说到的所有方式都有一个特点:就是用户进程需要阻塞等待,因此,这种操作被称为同步阻塞IO。

对于阻塞的问题,可以用异步 I/O 来解决。

​用户进程向内核发起IO请求后直接返回,处理其他任务。

而内核将磁盘控制器缓冲区的数据直接拷贝到用户缓冲区,然后通知用户进程来读。

异步IO没有涉及到PageCache,这种绕开PageCache的IO也叫直接IO,使用PageCache的IO叫做缓存IO。

由于 CPU 和磁盘 I/O 之间的执行时间差距,会造成大量资源的浪费,因此直接IO一般都是和异步IO结合才有意义。

前面也提到,大文件的传输不应该使用 PageCache,因为可能由于 PageCache 被大文件占据,而导致「热点」小文件无法利用到 PageCache。

于是,在高并发的场景下,针对大文件的传输的方式,应该使用「异步 I/O + 直接 I/O」来替代零拷贝技术。

而传输小文件时,使用零拷贝技术。

知识点回顾

虚拟内存

虚拟内存为每个进程提供了一个一致的、私有的地址空间,它让每个进程产生了一种自己在独享主存的错觉(每个进程拥有一片连续完整的内存空间)。

虚拟内存通常是被分隔成多个物理内存碎片,还有部分暂时存储在外部磁盘存储器上,在需要时进行数据交换,加载到物理内存中来。 每个进程所能使用的虚拟地址大小和 CPU 位数有关。在 32 位的系统上,虚拟地址空间大小是 2 ^ 32 = 4G。

虚拟内存的好处:

  • 更大的地址空间,并且地址空间时连续的,使得程序编写链接更简单

  • 地址隔离:进程之间不会影响

  • 数据保护:每块虚拟内存都有相应的读写属性,保护程序代码不被修改,增加系统安全性

  • 内存映射:不同的虚拟内存可以映射到同一块物理内存上,可以实现进程之间相互共享数据

  • 物理内存管理:应用程序申请和释放的空间操作都是针对虚拟内存的,实际的物理内存管理是由操作系统完成,从而可以更好的利用内存,平衡进程间对内存的需求。

内核态和用户态

操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的权限。为了避免用户进程直接操作内核,保证内核安全,操作系统将虚拟内存划分为两部分,一部分是内核空间(Kernel-space),一部分是用户空间(User-space)。 内核进程和用户进程所占的虚拟内存比例是 1:3

在 Linux 系统中,内核模块运行在内核空间,对应的进程处于内核态;内核空间总是驻留在内存中,它是为操作系统的内核保留的。内核态可以执行任意命令,调用系统的一切资源。

而用户程序运行在用户空间,对应的进程处于用户态。处于用户态的进程不能访问内核空间中的数据,也不能直接调用内核函数的 ,因此要进行系统调用的时候,就要将进程切换到内核态才行。用户态只能执行简单的运算,不能直接调用系统资源。用户态必须通过系统接口(System Call),才能向内核发出指令。

写时复制

在某些情况下,内核缓冲区可能被多个进程所共享,如果某个进程想要这个共享区进行 write 操作,由于 write 不提供任何的锁操作,那么就会对共享区中的数据造成破坏,写时复制的引入就是 Linux 用来保护数据的。

写时复制指的是当多个进程共享同一块数据时,如果其中一个进程需要对这份数据进行修改,那么就需要将其拷贝到自己的进程地址空间中。这样做并不影响其他进程对这块数据的操作,每个进程要修改的时候才会进行拷贝,所以叫写时拷贝。这种方法在某种程度上能够降低系统开销,如果某个进程永远不会对所访问的数据进行更改,那么也就永远不需要拷贝。

BIO、NIO、AIO

这些是网络编程模型,由于socket也是一种特殊的文件,从网络中收到数据和从磁盘读取数据过程差不多,所以被称为IO模型,一个IO请求就可以看成一个网络连接。

同步:同步是用户线程需要等待内核IO操作完成,才能继续执行;

异步:异步不需要等内核完成,内核完成后会通知用户线程来读取。

阻塞:阻塞时用户线程需要等IO操作彻底完成后才能返回用户空间。

非阻塞:非阻塞是IO操作被调用后立即返回用户状态值。

BIO(Blocking IO):同步阻塞模型,传统的IO模型,每个IO操作对应一个Thread,上面我们举的例子都是传统IO。

NIO(NonBlocking IO):同步非阻塞模型,虽然可以立即返回用户空间,但用户线程需要轮询来读取数据。

AIO:异步非阻塞模型。

原文链接:Linux零拷贝原理 - 尹瑞星 - 博客园

ZYNQ Linux用户空间DMA传输实战:基于xilinx_axidma库实现零拷贝数据搬运 本文详细介绍了在ZYNQ平台上使用xilinx_axidma库实现Linux用户空间DMA传输的实战方法。通过零拷贝技术,该方案显著提升了PL与PS之间的数据搬运效率,避免了传统CPU拷贝的性能瓶颈。文章涵盖了库的工作原理、环境搭建、API使用指南以及性能优化技巧,为嵌入式开发者提供了高效的数据传输解决方案。 阅读详情

相关推荐

零拷贝技术:3个让数据传输快10倍的秘密,90%的开发者不知道!

零拷贝技术:数据传输的性能革命 本文深入解析零拷贝技术如何通过消除CPU参与的数据拷贝,实现10倍性能提升。传统I/O涉及4次拷贝和2次上下文切换,而零拷贝通过mmap+write、sendfile和DMA三种核心技术,实现0拷贝传输。实战案例显示,Web服务器文件传输和Kafka消息处理速度均提升10倍。需注意零拷贝并非万能,适用于纯传输场景,数据处理仍需传统方式。该技术通过降低CPU负载、减少内存带宽压力和上下文切换次数,成为现代高性能系统的关键优化手段。

java专栏 1507

2、数据拷贝过程

一、用户空间与内核空间 二、标准IO/缓存IO 缓存 I/O 又被称作标准 I/O,大多数文件系统的默认 I/O 操作都是缓存 I/O。标准IO中,用户进程中的一个完整IO分为两个阶段: (1)用户空间<------------->内核空间 (2)内核空间<------------->设备空间 三、直接IO ...

na_tion的专栏 2134

SAP-ML章<<<<第二节:物料账报错处理ABAP编程错误:RAISE_EXCEPTION>>>>

#SAP-ML章<<<<第一节:物料账报错处理ABAP编程错误:RAISE_EXCEPTION>>>> 1.物料账报错提示: ABAP编程错误:RAISE_EXCEPTION ABAP程序:SAPLFCML4H_RUN_PRICES应用组件CO-PC-ACT 2. 物料账报错背景: CKMLCP运行结算时 3. 解决方案: 通过DEBUG查看错误的地方 OKTZ:分析原因为:可能打包或者配置传输时弄错 ...

SAP.David.Gao的博客 1858

【计算机基础-DMA拷贝与CPU拷贝】

DMA拷贝与CPU拷贝

weixin_43933594的博客 1386

Oracle-OGG trail 文件大小引起的进程异常 OGG-01172

监控OGG目标端进程,其中一个进程异常,状态为 ABENDED,start repa 执行失败。进入OGG报告目录检查运行报告 2015-04-20 09:38:36 ERROR OGG-01172 Discard file (/ogg/oggrm/11.2/dirdat/repa.dsc) exceeded max bytes (2000000000). 总结处理方法,从根本上解决问题。

xdyzgjy的专栏 7957

【点云可视化】自制ply文件并使用open3d可视化点云

使用open3d可视化点云,需要将点云制作为ply文件传入函数中。 安装open3d 直接使用pip安装 pip install open3d ply文件 ply文件的结构为:文件头+数据内容,文件头从 ply 一行开始,到 end_header 为止,里面定义了此 ply文件中数据的组织形式,包括数据类型和个数。后面是点云的坐标信息及每个点的颜色属性的,参考自 如下为具有5个点的点云,end_header后每一行表示一个点的x,y,z,R,G,B信息 ply format ascii 1.0 comme

这个人很蓝 1万+

linux文件复制原理,Linux I/O实现文件复制

前一段时间采用mmap实现了一个文件的复制操做,如今采用linux的I/O实现文件的复制,基本的思想是将文件复制到一个通用的buf中,而后将buf中的数据复制到新的文件中。这种方式比较容易理解,可是也是底层的系统调用,建议少用,但有时候必须采用(设备驱动)。#include#include#include#include#include#include/*操做的基本权限*/#define DEF_...

weixin_33661631的博客 371

STM32F407编译下载全流程:从CubeMX到HEX烧录

嵌入式固件开发中,编译与下载是连接代码与硬件的关键闭环。其本质是将高级语言描述的逻辑,经交叉编译(ARM GCC)、链接(ELF生成)、格式转换(HEX/BIN)后,通过调试接口(SWD/UART)写入MCU Flash存储器的过程。该流程涉及工具链协同、二进制格式特性(如Intel HEX的地址映射与无元数据设计)、启动模式(System Memory Bootloader)、Flash选项字节(RDP/WRP)等底层机制,直接决定固件可运行性与安全性。典型应用场景包括STM32F407开发板调试、量产固

weixin_28840811的博客 261

作者推荐 | 【底层服务/编程功底系列】「底层技术原理」史上最清晰的采用程序员的视角方式进行深入探索Linux零拷贝技术原理及实现

现在,零拷贝功能在Linux下几乎家喻户晓,但仍有很多人对其了解有限。为了解开这个功能的神秘面纱,我决定撰写一篇关于深入探讨的文章。本文将从用户模式应用程序的角度出发,介绍零拷贝的概念,省略了内核级的技术细节。希望通过本篇文章,可以帮助大家能更好地理解这个有用功能。为了更好地解释问题和解决方案,我们首先需要了解零拷贝是什么。让我们以网络服务器守护进程向客户端提供存储在文件中的数据为例,来说明这个过程中涉及的操作。上面的代码看起来比较简单,但是实际情况比表面看起来要复杂得多。

世界上并没有完美的程序,但是我们并不因此而沮丧,因为写程序就是一个不断追求完美的过程。 1596

【WRFDA教程第一期】运行观测预处理程序(OBSPROC)

运行观测预处理程序(OBSPROC)

WW、forever的博客 1900

MIPI D-PHY TX 一致性测试实例解析 Part 03

本文之前,已经讨论了MIPI D-PHY TX的1.3.x和1.4.x的测试项,1.5.x的测试项相对较少,主要是用于时钟和数据通道相关的时序测量

一只豌豆象的博客 5195

Linux网络编程中的零拷贝:提升性能的秘密武器

零拷贝,简单来说,是一种计算机操作技术,旨在避免在不同的内存区域之间进行不必要的数据复制操作,从而减少数据拷贝次数、提高系统性能和效率。在传统的数据传输过程中,数据往往需要在多个缓冲区之间进行多次拷贝,这不仅占用大量的 CPU 周期,还会消耗内存带宽。而零拷贝技术通过巧妙的设计,让数据在传输过程中尽可能减少 CPU 参与的拷贝操作,使得数据能够更高效地从数据源传输到目的地。

深度Linux 1212

【GRASS GIS零基础入门教程】2.1:初识GRASS GIS软件

GRASS GIS是一个强大的计算引擎,用于栅格、矢量和地理空间处理。它支持地形和生态系统建模、水文、数据管理和图像处理。通过内置的时态框架和Python API,它可以进行高级时间序列分析和快速地理空间编程,并针对各种硬件配置的大规模分析进行优化。

智慧空间实验室 850

Linux sendfile零拷贝机制:原理、性能测试与高并发实战

零拷贝技术是提升网络传输性能的核心机制,通过减少数据在内核空间和用户空间之间的不必要拷贝来降低CPU开销。其基本原理是让数据直接在文件系统缓存和网络套接字之间传输,避免了传统read/write操作中的多次数据复制。这种技术在高并发网络服务中具有重要价值,能够显著提升大文件传输和静态资源服务的性能。sendfile作为Linux内核提供的零拷贝系统调用,特别适用于Web服务器静态文件分发、视频流媒体传输等应用场景。通过深入分析sendfile的工作原理和性能表现,开发者可以更好地优化网络服务架构,实现真正的

weixin_33749242的博客 439

2022年灌溉试验设计与数据分析考试试题

2.表2数据为表层0~10cm的原状土离心机土壤水分特征曲线试验数据,(1)请利用R语言nls函数通过Van Genuchten方程对土壤体积含水率和土壤基质势进行拟合;(3)指明土壤基值势为-33 kPa和-1500kPa时的体积含水率。1.请根据表1数据,以灌溉模式为主区,生物炭用量为子区,利用R语言agricolae包生成裂区试验设计试验处理布置图;3.以R工具包factoextra中decathlon2数据集前10列为数据进行PCA分析,要求计算出(1)前5个主成分的特征值、特征向量;

Mrrunsen的博客 268

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

PF_RING ZC零拷贝技术实战:突破Linux内核性能瓶颈

在当今高速网络环境中,传统的数据包处理方式往往成为性能瓶颈。**PF_RING ZC零拷贝技术**作为革命性的解决方案,通过完全绕过Linux内核,实现了网络数据包的直接内存访问,为高吞吐量应用提供了突破性的性能提升。本文将带你深入了解PF_RING ZC的核心原理、配置方法和实战应用。 ## 🔍 什么是PF_RING ZC零拷贝技术? PF_RING ZC(Zero Copy)是一种高性能

gitblog_01191的博客 1120

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

C++零拷贝网络编程实战:从理论到生产环境的性能优化之路

无论你是C++老兵还是网络编程新手,这里都有让你醍醐灌顶的干货。让我们一起,在C++的网络编程世界里,找到属于自己的性能巅峰!

Jaxonic的博客 1259

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

探索 Linux 下的内存映射(mmap):原理、应用与实践

本文将深入探讨 Linux 操作系统下的内存映射技术(mmap),从基本原理到实际应用,全方位介绍 mmap 在系统编程中的重要性和灵活性。我们将解释 mmap 的工作原理,探讨它在提高 I/O 性能、共享内存、进程间通信等方面的应用,以及如何在实际项目中正确、高效地使用 mmap。无论您是系统编程新手还是有经验的开发者,本文都将为您提供深入理解 mmap 的视角和实用技巧。

新法的博客 4840

超硬核,基于mmap和零拷贝实现高效的内存共享

mmap技术mmap即memorymap,也就是内存映射。mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read、write等系统调用函数。相反,内核空间对这段区域的修改也直接反映用户空间,从而可以实现不同进程间的文件共享。系统调用命令:mmap()

深度Linux 1177

DMA技术解析:Linux下V4L2视频采集零拷贝实战

DMA(直接内存访问)是一种允许硬件子系统直接与内存交换数据的技术,无需CPU全程介入。其核心原理是通过独立的DMA控制器接管总线,实现设备与内存间的直接数据传输,从而解放CPU资源。这项技术的核心价值在于实现数据搬运的“零拷贝”,极大优化传输带宽和延迟,尤其适用于对实时性要求高的场景。在视频处理和嵌入式系统领域,DMA是构建高性能数据采集和处理管道的基础。例如,在Linux系统中,结合V4L2(Video for Linux 2)框架,开发者可以高效地从摄像头捕获视频流。通过内存映射模式,DMA机制使得摄

weixin_33714884的博客 408

探索 io_uring:理解高效异步 IO 的工作原理与实现细节

io_uring 是一个 Linux 内核提供的高性能异步 I/O 框架,最初在 Linux 5.1 版本中引入。它的设计目标是解决传统的异步 I/O 模型(如 epoll 或者 POSIX AIO)在大规模 I/O 操作中效率不高的问题。关键特点和优势包括:零拷贝操作:io_uring 允许应用程序直接将数据从用户空间提交给内核,而无需在用户空间和内核空间之间进行额外的数据拷贝操作,从而减少了系统调用的开销。

一枚菜鸡 2124

深入探索Linux命名管道(FIFO):原理、实践与高级技巧

从1973年Unix V3首次实现FIFO,到如今支撑着Kubernetes Pod的Sidecar通信,命名管道证明了优秀设计的永恒价值。是一个看似简单却功能强大的工具。它不仅保留了匿名管道的流式数据传输特性,还通过文件系统实现了。本文将深入解析其工作原理,揭示实际开发中的最佳实践,并探讨其在现代云原生架构中的独特价值。在Linux的进程间通信(IPC)机制中,(虚拟文件系统)接口实现文件操作。每个FIFO在内核中维护。:多个读进程同时接收数据。:多个写进程竞争写入。

2301_76794365的博客 1172

从Linux内核到JVM:深度解析Java文件I/O性能优化与零拷贝技术

文件I/O是计算机系统中数据持久化与交换的核心机制,其性能直接影响应用吞吐与延迟。在Linux系统中,I/O操作通过系统调用(如read、write)进入内核,由虚拟文件系统(VFS)统一抽象,并依赖Page Cache(页缓存)减少磁盘访问。Java作为应用层语言,通过JVM和本地库封装这些系统调用,提供了FileChannel、MappedByteBuffer等API。理解内核与JVM的交互原理,特别是内存拷贝开销与缓存机制,对于实现高性能I/O至关重要。零拷贝技术(如sendfile)通过在内核空间直

weixin_33721427的博客 473

高通跃龙IQ-9100平台上部署7B模型FastRPC通过IOMMU零拷贝调用DSP服务的原理

本文探讨了在高通跃龙IQ-9100平台上实现AI模型零拷贝推理的机制。通过实测数据发现,4.7GB的Qwen2.5-7B模型运行时仅占用73MB进程内存,权重存储在共享的dma-buf中。关键在于SoC的统一内存架构(UMA)和FastRPC+dma-buf+IOMMU的技术组合,使CPU与DSP能直接访问同一物理内存,避免了数据复制。文章分析了与GPU独立显存架构的本质差异,并详细解构了FastRPC远程调用的工作原理,展示了边缘AI部署中高效内存共享的实现方式。

weixin_38498942的博客 431

Linux I/O 原理和 Zero-copy 技术探索:让数据少走弯路的“搬家革命”

本文将全面而详尽地剖析 Linux 系统的 I/O 底层原理,分析传统 I/O 模式的弊端,并引入 Linux 的零拷贝(Zero-Copy)技术,探讨其原理及优势,帮助读者理解 Linux 内核在 I/O 模块优化方面的思路。传统的 Linux 操作系统在处理 I/O 时,采用了基于数据拷贝的标准 I/O 接口,这种方式虽然在某些场景下有效,但在高并发和大数据量的网络应用中,显然存在着显著的性能问题。这种数据拷贝的过程不仅增加了 CPU 的负担,还导致了上下文切换的开销,进而影响了系统的整体性能。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 932
上一篇: 深入理解MYSQL之缓存
下一篇: 对于epoll实现原理的理解
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值