NIO原理（1）-----为什么需要内核缓冲区和用户缓冲区

最新推荐文章于 2025-04-23 15:55:20 发布
最新推荐文章于 2025-04-23 15:55:20 发布
阅读量4.7k 收藏 14
点赞数 6
分类专栏： 并发编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/allowancedebug/article/details/96698753
版权

1.为什么需要缓冲区（系统内核缓冲区和用户缓冲区）

现代的操作系统通常都具有多任务处理的功能，通常靠进程来实现。由于操作系统快速的在每个进程间切换执行，所以一切看起来就会像是同时的。同时这也带来了很多安全问题，例如，一个进程可以轻易的修改进程的内存空间中的数据来使另一个进程异常或达到一些目的，因此操作系统必须保证每一个进程都能安全的执行。这一问题的解决方法是在处理器中加入基址寄存器和界限寄存器。这两个寄存器中的内容用硬件限制了对储存器的存取指令所访问的储存器的地址。这样就可以在系统切换进程时写入这两个寄存器的内容到该进程被分配的地址范围，从而避免恶意软件。

为了防止用户程序修改基址寄存器和界限寄存器中的内容来达到访问其他内存空间的目的，这两个寄存器必须通过一些特殊的指令来访问。

用户进程缓冲区：

用户进程通过系统调用访问系统资源的时候，需要切换到内核态，而这对应一些特殊的堆栈和内存环境，必须在系统调用前建立好。而在系统调用结束后，cpu会从核心模式切回到用户模式，而堆栈又必须恢复成用户进程的上下文。而这种切换就会有大量的耗时。

你看一些程序在读取文件时，会先申请一块内存数组，称为buffer，然后每次调用read，读取设定字节长度的数据，写入buffer。（用较小的次数填满buffer）。之后的程序都是从buffer中获取数据，当buffer使用完后，在进行下一次调用，填充buffer。所以说：用户缓冲区的目的是为了减少系统调用次数，从而降低操作系统在用户态与核心态切换所耗费的时间。除了在进程中设计缓冲区，内核也有自己的缓冲区。

内核缓冲区：

最低0.47元/天 解锁文章
Java 入门指南：Java NIO —— Buffer（缓冲区）
热带鱼的技术博客
08-30 1791
在 NIO（New Input/Output）模型中，Buffer 是一个重要的概念，与数据打交道，用于在内存中存储数据。通过 Channel 将数据传输到 Buffer 缓冲区中，并在缓冲区内进行数据的读写操作。 Buffer 本质上是一个数组，可以存储多个相同类型的基本数据类型，如 byte、short、int、long、float、double 等。Buffer 封装了内部的数组，并提供了一些操作该数组的方法。
IO系列(八) -浅析NIO工作原理
程序员志哥的博客
05-20 1339
现在使用 NIO 的场景越来越多，很多网上的技术框架或多或少的使用 NIO 技术，譬如 Tomcat、Jetty、Netty，学习和掌握 NIO 技术已经不是一个 Java 攻城狮的加分技能，而是一个必备技能。
详细了解JAVA NIO之Buffer（缓冲区）
08-18
主要介绍了JAVA NIO之Buffer（缓冲区）的相关资料，文中讲解非常细致，帮助大家更好的学习JAVA NIO，感兴趣的朋友可以了解下
NIO之缓冲区【基础内容】
波波烤鸭的博客
04-10 2446
  我们知道NIO的三大核心是buffer，channel和selector，本文开始详细介绍下buffer 缓冲区Buffer 1.缓冲区介绍   一个Buffer对象是固定数量的数据的容器。其作用是一个存储器，或者分段运输区，在这里数据可被存储并在之后用于检索。缓冲区可以写满和释放。对于每个非布尔原始数据类型都有一个缓冲区类。尽管缓冲区作用于它们存储的原始数据类型，但缓冲区十分倾向于处理字节。...
NIO——笔记二(缓冲区)
weixin_41960204的博客
08-01 287
缓冲区(Buffer) 一个 Buffer 对象是固定数量的数据的容器。其作用是一个存储器，或者分段运输区，在这里数据可被存储并在之后用于检索。对于每个非布尔原始数据类型都有一个缓冲区类。尽管缓冲区作用于它们存储的原始数据类型，但缓冲区十分倾向于处理字节。非字节缓冲区可以在后台执行从字节或到字节的转换，这取决于缓冲区是如何创建的(这暗含了按字节排序的问题)。 缓冲区的工作与通道紧密联系。通道是 I/O 传输发生时的入口，而缓冲区是这些数据传输的来源或目标。对于离开缓冲区的传输，你想要传递出去的数据被置于一个
NIO 缓冲区
weixin_44130043的博客
03-29 328
 Java NIO系统的核心在于：通道(Channel)和缓冲区(Buffer)。通道表示打开到 IO 设备(例如：文件、 套接字)的连接。若需要使用 NIO 系统，需要获取用于连接 IO 设备的通道以及用于容纳数据的缓冲区。然后操作缓冲区，对数据进行处理。 缓冲区缓冲区（Buffer）：一个用于特定基本数据类型的容器。由 java.nio 包定义的，所有缓冲区都是 Buffer 抽象类的...
内核缓冲区笔记
weixin_30677617的博客
04-10 228
应用缓冲技术能很明显的提高系统效率。内核与外围设备的数据交换，内核与用户空间的数据交换都是比较费时的，使用缓冲区就是为了优化这些费时的操作。其实核心到用户空间的操作本身是不buffer的，是由I/O库用buffer来优化了这个操作。比如read本来从内核读取数据时是比较费时的，所以一次取出一块，以避免多次陷入内核。 应用内核缓冲区的主要思想就是一次读入大量的数据放在缓冲区，需...
nio学习demo 处理因缓冲区满导致写入失败问题
11-11
处理因缓冲区满导致的写入失败问题则涉及到NIO的缓冲区管理和事件驱动模型。当向通道（Channel）写入数据时，如果缓冲区已满，写操作会阻塞，直到缓冲区有空间。因此，需要妥善处理这种情况，避免程序卡死。 在给定...
7.java-nio-零拷贝案例和原理
最新发布
qq_44959735的博客
04-23 454
可知，传统IO使用了4次拷贝中，前3次都发生了CPU上下文切换，并且使用了2次DMA拷贝，2次CPU拷贝：1.硬盘—>内核（用户态切换到内核态），2.内核—>jvm程序内存（内核态切换到用户态），3.jvm程序内存—>socket缓冲区（用户态切换到内核态），4.socket缓冲区—>网卡，随后write函数返回，发送完成（内核态切换到用户态）所谓的零拷贝不是不拷贝，而是不经过CPU拷贝，它还是需要拷贝的（比如将数据从硬盘拷贝到内核态），这个零拷贝是从操作系统（CPU）的角度看的。
NIO流，面向缓冲区流，一篇文章解决NIO流基础
qq_45574769的博客
08-15 442
NIO流和IO流的主要区别就在于IO流是直接面向文档的，读一个输出一个，NIO是面向的缓冲区 直接开始代码，NIO流的某些讲解都会在注释上 先来了解以下几个比较重要的参数 capacity： 缓冲区的容量，不可以为负数，一旦创建了就不能够改变 limit :无效缓冲区的第一个位置索引，limit后面的数据既不可读，也不可写 position :下一个可以被读取或者写入的缓冲区位置索引 mark:标记索引，该索引能够用于下次读取或者写入，它只能够在0-position之间 以及几个方法： 1、flip():
java缓冲器的作用,java NIO之缓冲区篇(一)
weixin_42117116的博客
03-22 831
我们以Buffer类开始我们对java.nio软件包的浏览历程，这些类是java.nio的构造基础。一个Buffer对象是固定数量的数据的容器。其作用是一个存储器，或者分段运输区，在这里数据可被存储并在之后用于检索。对于每一种非布尔原始数据类型都有一个缓冲区类。尽管缓冲区作用于它们存储的原始数据类型，但缓冲区十分倾向于处理字节。缓冲区的工作与通道紧密联系。通道I/O传输发生时通过的入口，而缓冲区是...
nio之缓冲区(Buffer)理解
huan的学习记录
11-26 360
一、缓冲区简介 Nio中的 Buffer 是用于存储特定基础类型的一个容器。为了能熟练的使用 Nio中的各种 Buffer , 我们需要理解 Buffer 中的 三个重要 的属性。 1. capacity：表示的是这个缓冲区包含元素的个数，容量不可改变也不可是负数 2. limit：表示的是缓冲区中第一个不可读或写的元素的索引，它不可是负数并且 &l...
详解，NIO中的缓冲区
技术分享、唠嗑水文、如有不周、还望海涵
11-07 540
J3 - 白起 技术（NIO # 缓冲区） NIO 的出现就是为了解决传统 IO 上的不足，而 NIO 三大组件中的缓冲区就是提高效率的组件之一。 在 NIO 中缓冲区是占据着非常重要的地位，因为数据就放在缓冲区中，对数据的 CRUD 操作都是对缓冲区的操作，所以缓冲区操作的对于否都直接关系到最终结果的正确性。 下面就开始了解它把！ 一、缓冲区类体系介绍 JDK1.4 抽象出了一个缓冲区的抽象类，该类是顶级类下面有七个直接子类，如图： 对于我们 Java 八种基本数据类型中，除了 boolean ..
Java NIO三大核心之缓冲区Buffer概述
lixinkuan的博客
02-26 3430
定义 缓冲区Buffer在java nio中负责数据的存储，缓冲区就是数组，用于存储不同类型数据的数组。 jdk为java七大基本类型数据都准备了响应的缓冲区（boolean值除外）： ByteBuffer CharBuffer ShortBuffer IntegerBuffer LongBuffer FloatBuffer DoubleBuffer 上述缓冲区除了ByteBuffer的 功能稍微多点外，因为ByteBuffer是通用的，所以功能会比较多。其他6种的使用方式几乎是一致的。 /* * B
NIO三板斧之Buffer，提升程序运行效率的双刃剑
weixin_51702416的博客
07-16 550
JAVA的GC机制使得内存使用非常的方便，但是，其实内存从来都不简单。NIO虽然还是更多的基于JVM的堆内内存进行构建，但是NIO中也提供了对于堆外内存的完整使用机制。GC是把双刃剑，简化了应用编程，却不可避免的带来了性能的损耗，所以，在很多追求性能极致的场景，都会频繁的使用堆外内存。有兴趣可以去跟踪下RocketMQ基于DirectBuffer来管理存盘文件的源码。下一节，将再来整理最后的这个Channel。文章分享就到这里了，了解更多Java知识可关注微信公众号“老周扯IT”https。...
NIO的基本概念和缓冲区
七一
07-10 277
NIO 缓冲区： 在NIO库中，所有的数据都是用缓冲区处理的，在读取数据时，它是直接读到缓冲区的，在写入数据时，它是写入到缓冲区的，任何时候访问NIO中的数据,你都是将它放到缓冲区中。 缓冲区实质上是一个数组，通常它是一个字节数组，但是也可以使用其他种类的数组，但是一个缓冲区不仅仅是一个数组，缓冲区提供了对数据的结构化访问，而且还可以跟踪系统的读写进程 缓冲区类型： 最常用的缓冲区类型是ByteBuffer。一个ByteBuffer可以在其底层字节数组上进行get/set操作（即字节的获取和设置）。Byte
深入学习NIO三大核心:缓冲区 Buffer、通道Channel、Selector选择器
weixin_39038328的博客
03-19 1697
通道(Channel)是java.nio的第二个创建概念。Channel用于在缓冲区和位于通道另一侧的实体(通常是一个文件或者是一个套接字)之间有效的传输数据。只不过Channel本身不能直接访问数据，Channel只能和Buffer进行交互。NIO的通道和流的区别通道可以同时进行读写，但是流只能读或者只能写通道可以实现异步读写数据通道可以从缓冲读取数据，也可以写数据到缓冲区；BIO中的stream是单向的,
NIO--02--NIO简介 和 缓冲区（Buffer）
时光里的博客
04-09 287
NIO简介 NIO与IO的主要区别 同步阻塞的BIO 同步非阻塞的NIO 异步非阻塞的AIO。 通道Channel 和 缓冲区 Buffer 简而言之：Channel负责传输，Buffer负责存储。 缓冲区（Buffer） 概念: 缓冲区（Buffer）：在 Java NIO 中负责数据的存取。缓冲区就是数组。用于存储不同数据类型的数据 一、分类: 根据数据类型不同（boolean 除外），提供了相应类型的缓冲区： ByteBuffer CharBuffer ShortBuffer
Linux内核之内核缓冲区的管理
幸福的杂货铺
08-31 458
Linux内核采用slab方法来管理内核缓冲区，slab类似于面向对象的方法进行内核区的分配和回收。   1. slab可能由1个，2个，4个.......最多32个连续的物理页面构成； 2. 每个slab都有slab的描述结构slab_t，用于同一种对象或多个slab通过描述结构队列头形成一个双向链队列。每个slab结构逻辑上分成3段，对一段是各个slab上所有的对象都已分配使用；第二个是...
缓冲区都有什么种类，内核空间和用户空间都说
03-13
<think>好的，用户之前问了环形缓冲区和Socket缓冲区的区别，现在他们进一步问缓冲区的种类，包括内核空间和用户空间的。我需要先回顾之前的回答，确保这次的内容不重复但能衔接上。 首先，用户可能是在学习操作系统或网络编程，想深入理解缓冲区的不同应用场景。他们可能对系统底层的数据处理流程感兴趣，或者在做性能优化时需要了解缓冲区的使用。 接下来，我需要分类整理缓冲区的种类，分内核和用户空间。之前的回答已经提到环形缓冲区和Socket缓冲区，这里需要扩展更多的类型，比如内核中的DMA缓冲区、页缓存，用户空间的应用层缓冲、标准库缓冲等。 要注意用户可能混淆不同层次的缓冲区，比如内核和用户空间的区别，以及它们如何交互。需要解释清楚每种缓冲区的作用、位置和例子，可能还要举例说明数据流向，比如从网卡到DMA缓冲区，再到Socket缓冲区，最后到用户空间的过程。 另外，用户可能关心为什么存在这么多缓冲区，各自的优缺点是什么，比如性能优化、减少系统调用次数、解耦生产消费速度差异等。需要结合具体例子，如C标准库的stdio缓冲减少write系统调用，提升效率。 还要考虑用户可能的疑问，比如缓冲区溢出如何处理，不同缓冲区之间的数据复制是否影响性能，或者如何配置缓冲区大小等。虽然用户没有直接问，但可能在后续问题中出现，可以适当提及但不深入。 需要确保术语准确，比如区分“缓冲区”和“缓存”，比如页缓存虽然叫缓存，但在这里属于内核缓冲区的一种。同时，结构要清晰，分点列出，使用对比表格可能帮助理解。 最后，检查是否有遗漏的缓冲区类型，比如用户空间的堆栈缓冲区、内核中的进程间通信缓冲区等，确保覆盖全面但不过于冗长。保持语言简洁，用例子帮助理解，避免过于技术化的描述，适应用户的学习阶段。</think>### 分步解析：缓冲区的种类（内核空间与用户空间） --- #### **1. 内核空间缓冲区** 内核空间缓冲区由操作系统直接管理，用于**硬件与软件间的数据中转**或**协议栈处理**。主要类型包括： --- ##### **1.1 硬件驱动层缓冲区** - **作用**：解决硬件设备（如网卡、磁盘）与CPU处理速度不匹配问题。 - **典型类型**： - **DMA缓冲区**：网卡通过DMA（直接内存访问）直接将数据写入内核内存，无需CPU参与。 $$ \text{网卡} \xrightarrow{\text{DMA写入}} \text{内核DMA缓冲区} $$ - **环形缓冲区（Ring Buffer）**：网卡驱动使用循环队列结构临时存储原始网络帧（如接收/发送环形缓冲区）。 ```text +---+---+---+---+ |包1 |包2 |包3 |包4 | ← 网卡写入新包覆盖旧包 +---+---+---+---+ ``` --- ##### **1.2 协议栈处理缓冲区** - **作用**：存储协议解析后的数据，供上层应用读取。 - **典型类型**： - **Socket缓冲区**：每个Socket连接独立拥有接收/发送缓冲区（如TCP的`sk_buff`结构）。 - **接收缓冲区**：存储已剥离包头的数据（如HTTP报文），等待`recv()`读取。 - **发送缓冲区**：暂存待发送数据，等待协议栈封装为网络包。 - **分片重组缓冲区**：IP层用于重组被分片的网络包。 --- ##### **1.3 文件系统缓冲区** - **作用**：加速磁盘读写，减少直接I/O操作。 - **典型类型**： - **页缓存（Page Cache）**：缓存最近访问的磁盘文件内容（如`ext4`文件系统的内存副本）。 $$ \text{磁盘文件} \xrightarrow{\text{读操作}} \text{页缓存} \xrightarrow{\text{复制}} \text{用户空间} $$ - **目录项缓存（dentry cache）**：加速文件路径查找。 --- #### **2. 用户空间缓冲区** 用户程序自行管理的缓冲区，用于**减少系统调用开销**或**优化数据处理逻辑**。 --- ##### **2.1 应用层缓冲区** - **作用**：批量处理数据，降低频繁系统调用的性能损耗。 - **典型场景**： - **标准I/O库缓冲区**：C语言`stdio.h`中的`FILE*`流缓冲区。 ```c FILE *fp = fopen("file.txt", "r"); char buf[4096]; setvbuf(fp, buf, _IOFBF, 4096); // 设置4KB全缓冲 ``` - **网络通信缓冲区**：手动分配内存暂存待发送/接收的数据。 ```python # Python Socket编程示例 send_buffer = bytearray(8192) # 用户空间发送缓冲区 recv_buffer = bytearray(8192) # 用户空间接收缓冲区 ``` --- ##### **2.2 语言运行时缓冲区** - **作用**：语言特性或虚拟机优化的中间存储。 - **典型类型**： - **Java NIO的DirectBuffer**：通过堆外内存直接与内核交互，避免JVM堆与Native堆的数据复制。 - **Python字节码缓冲区**：解释器缓存编译后的字节码（`.pyc`文件）。 --- ##### **2.3 数据处理缓冲区** - **作用**：优化算法执行效率。 - **典型场景**： - **图像处理双缓冲**：避免渲染画面撕裂（前缓冲显示，后缓冲绘制）。 - **音视频流缓冲区**：平滑播放卡顿（如FFmpeg的AVPacket队列）。 --- ### **对比表格：内核与用户空间缓冲区** | **维度** | **内核空间缓冲区** | **用户空间缓冲区** | |------------------|-------------------------------------------|---------------------------------------| | **管理方** | 操作系统内核 | 用户程序 | | **访问权限** | 仅内核可访问 | 用户程序直接读写 | | **典型操作** | 硬件DMA、协议栈封装 | `malloc()`分配、库函数封装 | | **性能影响** | 减少硬件中断频率 | 减少系统调用次数 | | **数据流向** | 硬件 ↔ 内核 ↔ 用户空间 | 用户程序内部或用户空间 ↔ 内核 | | **溢出后果** | 丢包（网卡）、OOM Killer终止进程（内存） | 程序崩溃、数据错误 | --- ### **数据流转示例：文件读取** ```text 1. 用户调用fread() → 2. 标准库检查用户缓冲区是否有数据 → 3. 若空，发起read()系统调用 → 4. 内核检查页缓存是否存在文件内容 → 5. 若命中，直接复制到用户缓冲区；若未命中，从磁盘读取到页缓存再复制 → 6. 用户程序从缓冲区获取数据 ``` --- ### **常见问题** **Q1: 为什么用户程序不直接操作内核缓冲区？** - **安全性**：防止用户程序破坏内核数据。 - **效率**：系统调用（如`read()`）的上下文切换开销大，批量复制更高效。 **Q2: 如何选择缓冲区大小？** - 内核缓冲区：通常由协议栈自动调整（如TCP窗口大小）。 - 用户缓冲区：根据业务场景测试（如网络编程常用4KB~64KB）。 **Q3: 缓冲区能完全避免数据复制吗？** - **零拷贝技术**（如Linux的`splice()`、`sendfile()`）可减少复制次数，但无法完全消除。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值