Linux文件IO缓存总结

最新推荐文章于 2024-09-26 09:23:06 发布
最新推荐文章于 2024-09-26 09:23:06 发布
阅读量814 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux/Unix编程 文章标签： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LZUwujiajun/article/details/82893996
本文详细解析了文件IO缓存的工作原理，包括用户空间缓存与内核空间高速缓存的交互过程，以及write、read、fflush、fdatasync、fsync等系统调用如何影响数据的读写和同步。同时，介绍了stdio缓冲的不同形式和直接IO的特点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文件IO缓存

用户空间缓存（堆）—IO系统调用（write等）—内核空间高速缓存—磁盘

write后立即返回，后续内核将缓存区数据写入磁盘

read从内核高速缓存中读取

设计目的：无需等待磁盘操作，减少磁盘操作

大块缓存空间，更少的系统调用，提高IO性能

stdio缓冲形式

setvbuf，setbuf，不缓冲，行缓冲，全缓冲

fflush，刷新stdio缓存->内核缓存（通过write）

同步IO数据完整性 fdatasync

读：磁盘->进程

写：数据，必要的更新文件的元数据->磁盘

同步IO文件完整性 fsync

读：磁盘->进程

写：数据，所有更新文件的元数据->磁盘

sync 更新文件信息

O_SYNC,O_DSYNC,O_RSYNC,posix_fadvise()

直接IO（绕过高速缓存）：O_DIRECT,各种对齐

Linux内核：标准IO的缓存
m0_74282605的博客
05-27 621
全缓冲读的时候,_IO_read_base始终指向缓冲区的开始，_IO_read_end始终指向已从内核读入缓冲区的字符的下一个(对全缓冲来说,buffered I/O读每次都试图都将缓冲区读满)，IO_read_ptr始终指向缓冲区中已被用户读走的字符的下一个(_IO_read_end < (_IO_buf_base-_IO_buf_end)) && (_IO_read_ptr == _IO_read_end)时则已经到达文件末尾其中_IO_buf_base-_IO_buf_end是缓冲区的长度。
Linux文件IO缓存
weixin_42198851的博客
08-26 1541
当操作磁盘文件时，缓冲大块数据以减少系统调用，C 语言函数库的 I/O 函数（比如， fprintf()、fscanf()、fgets()、fputs()、fputc()、fgetc()）正是这么做的。3. 总之，如果需要强制刷新内核缓冲区，那么在设计应用程序时就应考虑是否可以使用大 尺寸的 write()缓冲区，或者在调用 fsync()或 fdatasync()时谨慎行事，而不是在打开文件时就使用 O_SYNC 标志。有时也称此为直接 I/O（direct I/O）或者裸 I/O(raw I/O)。
linux中的页缓存和文件IO
孤独剑
04-28 1万+
        虽然仔细看过《linux内核设计与实现》，也参考了很多的博客，并且做了linux进程空间、address_space和文件的关系图（设为图1，参考博客），但是对于页缓存和文件IO之间关系的细节一直不是特别明朗。趁着元旦假期看的博客中思路还算清晰，写下当前对于页缓存的理解及其和文件IO之间的关系。        首先明确的一点是，本文所述的是针对linux引入了虚拟内存管理机制以后所...
深究标准IO的缓存
weixin_34357928的博客
01-07 181
前言 　　在最近看了APUE的标准IO部分之后感觉对标准IO的缓存太模糊，没有搞明白，APUE中关于缓存的部分一笔带过，没有深究缓存的实现原理，这样一本被吹上天的书为什么不讲透彻呢？今天早上爬起来赶紧找了几篇文章看看，直到发现了这篇博客:http://blog.sina.com.cn/s/blog_6592a07a0101gar7.html。讲的很不错。 一、IO缓存 　　系统调用：只操作系统提供...
磁盘IO：缓存IO、直接IO、内存映射
热门推荐
云深不知处
04-09 1万+
磁盘IO的几种访问方式如下： 缓存IO        缓存I/O又被称作标准I/O，大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。        读操作：操作系统检查内核的缓冲区有没有需要的数据，如果已经缓存了，那么就直接从缓存中返回；否则从磁盘中读取，然后缓存在操作系统
Linux——文件（IO缓冲篇）
0 error(s)
04-02 392
文章目录文件I/O的内核缓冲：缓冲区高速缓存stdio库缓冲设置stdio流的缓冲模式刷新stdio缓冲区参考文献 写在前面：此系列主要参考自UNIX系统编程手册，将会有大量demo。但是本章大多还是概念性知识，demo基本没有，比较枯燥。 书籍链接：微云链接 文件I/O的内核缓冲：缓冲区高速缓存 出于速度和效率考虑，系统I/O调用和标准C语言库I/O函数在操作磁盘文件时会对数据进行缓冲。 read和write系统调用在操作磁盘文件时不会直接发起磁盘访问，仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据
linux文件io缓冲区,linux下的文件IO缓冲区，及其相关操作
weixin_39567870的博客
05-14 283
linux下相关的IO系统调用，及缓冲区对系统调用的影响linux下的文件IO操作浅谈文件IO缓冲Read()和write()函数在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。当调用write()函数的写入3个字节的时候，由于系统调用与磁盘操作并不同步，在write()函数结束后续某个时刻，内核才会将其缓冲区中的数据写入磁盘。如果在此期间，另一个进...
【Linux】基础IO总结
风铃的博客
03-16 260
文章目录C语言操作接口1.打开2.写3.读4.偏移5.关闭举例1写文件举例2读文件系统调用操作接口1.打开2.写3.读4.偏移5.关闭举例1写文件举例2读文件总结 C语言操作接口 1.打开 fopen FILE *fopen(const char *path, const char *mode) path :打开文件的方式（文件路径+文件名称） mode： 以何种方式打开 r:以只读方式打开，当文件不存在时，就打开失败 r+：以读写方式打开，当文件不存在时，就会打开失败 w:以只写方式打开，如果文
linux系统编程-文件IO缓冲
weixin_40555950的博客
10-16 267
1.什么是文件IO缓冲，为什么需要文件IO缓冲 什么是文件IO缓冲 顾名思义，用来缓存数据。read()和 write()系统调用在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。在后续某个时刻，内核会将其缓冲区中的数据写入磁盘（因此，可以说系统调用与磁盘操作并不同步。） 为什么需要文件IO缓冲？ A、更为快速，系统调用不需要等待磁盘操作。 B、更为高效，减少了内核必须执行的磁盘传输次数。 2. 指定stdio缓冲区形式、刷新缓冲区 如何指定std
Linux系统编程-文件IO缓冲
qq_26072739的博客
07-22 259
内核缓冲：缓冲区高速缓存 read()和write()系统调用在操作磁盘文件时不会直接发起磁盘访问，而仅仅在用户空间缓冲区和内核缓冲区高速缓存之间复制数据。例如 write(fd, "abc", 3); write会立即返回。在后续某个时刻，内核会将其缓冲区中的数据写入磁盘。在此期间，另一进程试图读取该文件的这几个字节，那么内核将会自动从缓冲区高速缓存中提供。 stdio库缓冲 设置一个stdio流的缓冲模式 #include<stdio.h> int setvbuf(FILE* stram,
生动详细分析Linux IO 模型总结
chasonli666的博客
10-23 186
一.场景： 地点为网吧，时间为晚上7点，xxx游戏正在更新版本，要玩游戏需更新下载游戏（大概需要一个小时），此刻正是晚饭时间，大家都饿了；现在网民们要做的是下载游戏、吃饭，怎么安排更为合理呢。 二、方案： 1.心里装的都是游戏，根本没心情吃饭： 下载游戏，双眼定制进度条，不想干其他的，等看到下载完毕之后，才想去吃饭。 缺点：耽误吃饭。 ...
linux IO流程中各级缓存
tuolaji8的专栏
07-17 1560
1 “buffer cache” （指内存） 要理解”buffer cache”这个东西，需要澄清一下概念： 一般情况下，进程在io的时候，要依赖于内核中的一个buffer模块来和外存发生数据交换行为。另一个角度来说，数据从应用进程自己的buffer流动到外存，中间要先拷贝到内核的buffer中，然后再由内核决定什么时候把这些载有数据的内核buffer写出到外存。 “buffer cac...
linux下的文件IO缓冲区，及其相关操作
然然然星人的博客
06-13 5658
linux下相关的IO系统调用，及缓冲区对系统调用的影响
linux I/O缓存类型
chenwh_cn的博客
05-24 202
文章目录一、标准 I/O缓存类型二、全缓存 - 普通文件三、行缓存 - 标准输出四、不缓存 - 标准错误输出 一、标准 I/O缓存类型 I/O缓冲的目的是使用read和write时尽可能少的访问硬盘次数 标准I/O提供了三种类型的缓冲： 全缓存 在填满缓冲区后才进行I/O操作。常规文件（如普通文本文件）通常是全缓冲的 行缓存 当在输入和输出中遇到换行符时进行I/O操作。标准输入和标准输出对应终端设备（如屏幕）时通常是行缓冲的 不缓存 每次输入和输出操作都进行I/O操作。标准错误输出通常是无缓冲的，这样
Linux的5种IO模型的小结分析（转）
dcw142857的博客
03-16 171
接触网络编程，我们时常会与各种与IO相关的概念打交道：同步(Synchronous)、异步(ASynchronous)、阻塞(blocking)和非阻塞(non-blocking)。关于概念的区别在知乎上看到一位朋友(链接)打了一个比较形象的比喻： 你打电话问书店老板有没有《分布式系统》这本书，如果是同步通信机制，书店老板会说，你稍等，”我查一下"，然后开始查啊查，等查好了(可能是5秒，也可能是一...
Linux 缓存I/O和IO技术讲解
Serendipity_Shy
03-14 1943
1 缓存IO   缓存I/O又被称作标准I/O，目前大多数操作系统中的文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。缓存I/O使用操作系统内核缓冲区，在一定程度上分离了应用程序空间与实际的物理设备，它能够减少读取磁盘的次数，进而提高I/O效率。    读操作：操作系统检查内核的缓冲区有没有需要的数据，如果已经缓存了，那么就直接从缓存中返回；否则从磁盘中读取，然后缓存在操作系统的缓存中。 读取： 硬盘
Linux标准IO（五）-I/O缓冲详解
最新发布
Dola的博客
09-26 1809
出于速度和效率的考虑，系统 I/O 调用（即文件 I/O，open、read、write 等）和标准 C 语言库 I/O 函数（即标准 I/O 函数）在操作磁盘文件时会对数据进行缓冲，本小节将讨论文件 I/O 和标准 I/O 这两种 I/O 方式的数据缓冲问题，并讨论其对应用程序性能的影响。除此之外，本小节还讨论了屏蔽或影响缓冲的一些技术手段，以及直接 I/O 技术—绕过内核缓冲直接访问磁盘硬件。
Linux文件I/O与标准I/O缓冲机制及性能分析
不脱发的程序猿
06-04 947
在Linux系统中，文件I/O和标准I/O是两种常见的数据输入输出方式。它们在数据缓冲的原理和机制上有所不同，这对应用程序的性能有重要影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值