NIO和零拷贝

原创 于 2024-12-03 09:50:28 发布 · 505 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nio #服务器 #linux

NIO和零拷贝

零拷贝是指没有cpu拷贝

ps：DMA：直接内存拷贝，不经过cpu

传统IO模型
image-20241203090719775

四次拷贝，三次状态的切换

mmap优化

通过内存的映射，将文件映射到内核缓冲区，且用户空间可以共享内核空间的数据，于是在进行网络传输的时候可以减少内核空间到用户空间的拷贝次数

image-20241203091800208

三次拷贝，三次状态的切换

sendFile优化

数据不经过用户态，从内核缓冲区进入socketbuffer，减少一次上下文切换

Linux2.1版本

image-20241203092047324

三次拷贝，两次状态的切换

Linux2.4版本

虽然有一次cpu拷贝，但是拷贝的信息很少，都是一些length、offset等信息，可以忽略不记

image-20241203094406105

两次拷贝，两次状态的切换

mmap和零拷贝的区别

  1. mmap适合小数据量，sendFile适合大文件的传输

  2. mmap需要四次状态的切换，3次数据拷贝；sendFile需要三次状态切换，2次数据拷贝

  3. sendFile可以利用DMA减少CPU拷贝，mmap必须要从内核态拷贝到socketbuffer

NIO优化底层原理和零拷贝
Charte的博客
02-07 1041
读取磁盘数据的时候，之所以要发生上下文切换，这是因为用户空间没有权限操作磁盘或网卡，内核的权限最高，这些操作设备的过程都需要交由操作系统内核来完成，所以一般要通过内核去完成某些任务的时候，就需要使用操作系统提供的系统调用函数。
700-浅谈零拷贝和NIO
LINZEYU666的博客
10-18 306
传统的IO模型是怎么样的？ 我们来看一张图，让我们看看一个文件从磁盘传输到网卡究竟要经历什么样的磨难： 「第一步」：将文件通过 「DMA」 技术从磁盘中拷贝到内核缓冲区 「第二步」：将文件从内核缓冲区拷贝到用户进程缓冲区域中 「第三步」：将文件从用户进程缓冲区中拷贝到 socket 缓冲区中 「第四步」：将socket缓冲区中的文件通过 「DMA」 技术拷贝到网卡 这种数据存储的区域整体我们把它叫做「非直接缓冲区」。 我们发现，居然有四步数据拷贝的过程！！并且整个数据的传输过程都是「需要 CPU 去执行」
浅谈NIO与零拷贝
localhost01
10-27 8704
传统IO 传统IO的数据拷贝流程如下图： 数据需要从磁盘拷贝到内核空间，再从内核空间拷到用户空间（JVM）。 程序可能进行数据修改等操作 再将数据拷贝到内核空间，内核空间再拷贝到网卡内存，通过网络发送出去（或拷贝到磁盘）。 即数据的读写（这里用户空间发到网络也算作写），都至少需要两次拷贝。 当然磁盘到内核空间属于DMA拷贝（DMA即直接内存存取，原理是外部设备不通过CPU而直接与系统内存交换......
NIO之零拷贝
weixin_38950807的博客
06-10 638
title: Nio之零拷贝 date: 2019-06-04 08:36:01 categories: Java基础 tags: nio Linux中的内核态与用户态 如上图所示，Unix/Linux的体系架构分为内核空间（kernal space）与用户空间(application space)，内核控制着计算机的硬件资源，为上层应用程序提供运行环境。用户空间就是应用程序的活动空间，...
NIO的零拷贝
xiaoza7的博客
04-23 976
java中零拷贝有2种（零拷贝是指没有CPU拷贝） 1，mmap(内存映射) 2,sendfile 传统IO数据读写； File file = new File("test.txt"); RandomAccessFile raf = new RandomAccessFile(file, "rw"); byte[] arr = new byte[(int) file.length()];...
Java NIO 零拷贝
IT蜗牛的专栏
03-14 1196
一、什么是零拷贝 零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 二、零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 三、Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间...
nio零拷贝解析
weixin_43810802的博客
07-09 348
nio zero copy传统网络数据拷贝nio网络数据传递 传统网络数据拷贝 传统的server和client之间的数据传输就是用一个while循环不断的读取和发送。 server： public class OldServer { public static void main(String[] args) throws Exception { ServerSocket serverSocket = new ServerSocket(8899); while (
NIO与零拷贝_javanio_nio和零拷贝_
10-02
在Java NIO中，零拷贝主要体现在通过DMA（Direct Memory Access，直接内存访问）和操作系统内核层面的优化来实现。 1. **NIO基础** - **通道（Channels）**：通道类似于流，但它是双向的，可以读也可以写。常见的...
NIO与零拷贝1
08-08
【NIO与零拷贝1】中的主要知识点集中在操作系统层面的效率优化，特别是针对服务器网络编程中的数据传输。零拷贝技术是提升性能的关键，它减少了数据在内存中不必要的复制，降低了CPU的负担。 1. **传统数据读写流程...
Java NIO与零拷贝技术深度解析
内容将覆盖NIO的基本原理、零拷贝技术的概念、以及Java中如何利用NIO实现零拷贝，特别适合对Java NIO和零拷贝技术感兴趣的开发人员进行深入了解。" NIO基础知识： Java NIO是Java提供的一套新的IO API（在JDK 1.4中...
[NIO系列]接IO多路复用, 详细介绍NIO与零拷贝
最新发布
wdx7770的博客
07-27 991
在 DirectByteBuffer 的构造方法中, 会创建一个 Cleaner 对象, 创建 Cleaner 对象的时候, 把当前的 DirectByteBuffer 传了进去, 同时还传递了一个 Deallocator 对象, 这个 Deallocator 将作为 Cleaner 的 thunk 成员;以 FileChannel 为例, 如果是 DBB, 直接进行写, 如果是 HeapByteBuffer, 则先构造一个 DBB, 拷贝到DBB, 再由DBB写到Channel;
JavaNIO和零拷贝（Zero Copy）
CringKong的博客
05-10 1万+
一.Linux操作系统中的零拷贝 1.1先从Linux的普通I/O过程说起 1.2内存映射方式I/O 1.3内核空间内部传输I/O 1.4理想状态下的零拷贝I/O 1.5splice()系统调用 二.JavaNIO中的零拷贝 2.1NIO中内存映射方式I/O 2.2NIO中的零拷贝 今天在学习netty的时候，突然了解到一个新的概念，零拷贝（Zero Copy），涉及到操作系...
Java NIO学习笔记四（零拷贝详解）
热门推荐
拿笔小星的博客
01-21 3万+
维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
NIO零拷贝与操作系统零拷贝
勿忘初心
10-02 1791
零拷贝的定义 Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 因为少了一次内存的拷贝, 因此 CPU 的效率就得到的提升. 在 OS 层面上的 Zero-copy 通常指避免在 用户态(User-space) 与 内核态(Kernel-space) 之间来回拷贝数据。 Netty 中的 Zero-copy 与 OS 的 Zero-cop...
NIO-零拷贝
weixin_41998947的博客
06-24 828
nio
IO和NIO两种方式实现文件拷贝
xusanyao的博客
02-28 2188
[java] view plain copy package com.lovo;      import java.io.FileInputStream;   import java.io.FileOutputStream;   import java.io.IOException;   import java.io.InputStream;   impo
利用NIO实现文件拷贝
qq_45368183的博客
03-30 1023
利用NIO实现文件拷贝 项目里面可能会有 把某文件从磁盘的这个地方拷贝到磁盘的另外一个地方 实现的方式有很多种，IO，apache的工具类，JDK自带的文件拷贝等等等 为什么我要选择NIO呢？请参照上一篇文章！ 我们先用IO也就是原始的方法来实现，也就是所谓的BIO 同步阻塞式IO（不秒懂请参照上一篇文章 ） /** * Created by IntelliJ IDEA. * User: kt * Date: 2021/3/30 15:36 * * @author kt * 利用io实现文件
java文件普通复制和NIO复制
chenshuzhuo的博客
04-19 3846
自从jdk1.4以后就引入了NIO文件通道的概念，并且是由io的FileinputStream和FileoutputStream获取 以下代码传入参数 File Copyfile 复制的文件File newfile 新文件 1.传统IO复制 public static void traditionCopy(File Copyfile, File newfile) throws Exce
java  nio是如何实现零拷贝(zero-copy)的
一念永恒
07-06 4584
首先了解关于zero-copy相关的知识点 java nio是如何实现zero-copy的 在上一篇文章中简单介绍了zero-copy的相关知识，提到了mmap内存直接映射方式，这种方式介于sendfile系统调用与传统IO之间，其中一个重要原因是sendfile完全在内核空间中完成的，这对于应用程序来说就无法对数据进行操作，也由此，javaNIO是基于mmap内存映射的方式来实现零拷贝的。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值