Linux文件IO缓存总结

最新推荐文章于 2024-05-16 20:35:51 发布
最新推荐文章于 2024-05-16 20:35:51 发布
阅读量814 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux/Unix编程 文章标签： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LZUwujiajun/article/details/82893996
本文详细解析了文件IO缓存的工作原理，包括用户空间缓存与内核空间高速缓存的交互过程，以及write、read、fflush、fdatasync、fsync等系统调用如何影响数据的读写和同步。同时，介绍了stdio缓冲的不同形式和直接IO的特点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文件IO缓存

用户空间缓存（堆）—IO系统调用（write等）—内核空间高速缓存—磁盘

write后立即返回，后续内核将缓存区数据写入磁盘

read从内核高速缓存中读取

设计目的：无需等待磁盘操作，减少磁盘操作

大块缓存空间，更少的系统调用，提高IO性能

stdio缓冲形式

setvbuf，setbuf，不缓冲，行缓冲，全缓冲

fflush，刷新stdio缓存->内核缓存（通过write）

同步IO数据完整性 fdatasync

读：磁盘->进程

写：数据，必要的更新文件的元数据->磁盘

同步IO文件完整性 fsync

读：磁盘->进程

写：数据，所有更新文件的元数据->磁盘

sync 更新文件信息

O_SYNC,O_DSYNC,O_RSYNC,posix_fadvise()

直接IO（绕过高速缓存）：O_DIRECT,各种对齐

Linux内核：标准IO的缓存
m0_74282605的博客
05-27 621
全缓冲读的时候,_IO_read_base始终指向缓冲区的开始，_IO_read_end始终指向已从内核读入缓冲区的字符的下一个(对全缓冲来说,buffered I/O读每次都试图都将缓冲区读满)，IO_read_ptr始终指向缓冲区中已被用户读走的字符的下一个(_IO_read_end < (_IO_buf_base-_IO_buf_end)) && (_IO_read_ptr == _IO_read_end)时则已经到达文件末尾其中_IO_buf_base-_IO_buf_end是缓冲区的长度。
Linux文件IO缓存
最新发布
weixin_42198851的博客
08-26 1541
当操作磁盘文件时，缓冲大块数据以减少系统调用，C 语言函数库的 I/O 函数（比如， fprintf()、fscanf()、fgets()、fputs()、fputc()、fgetc()）正是这么做的。3. 总之，如果需要强制刷新内核缓冲区，那么在设计应用程序时就应考虑是否可以使用大 尺寸的 write()缓冲区，或者在调用 fsync()或 fdatasync()时谨慎行事，而不是在打开文件时就使用 O_SYNC 标志。有时也称此为直接 I/O（direct I/O）或者裸 I/O(raw I/O)。
linux中的页缓存和文件IO
孤独剑
04-28 1万+
        虽然仔细看过《linux内核设计与实现》，也参考了很多的博客，并且做了linux进程空间、address_space和文件的关系图（设为图1，参考博客），但是对于页缓存和文件IO之间关系的细节一直不是特别明朗。趁着元旦假期看的博客中思路还算清晰，写下当前对于页缓存的理解及其和文件IO之间的关系。        首先明确的一点是，本文所述的是针对linux引入了虚拟内存管理机制以后所...
深究标准IO的缓存
weixin_34357928的博客
01-07 181
前言 　　在最近看了APUE的标准IO部分之后感觉对标准IO的缓存太模糊，没有搞明白，APUE中关于缓存的部分一笔带过，没有深究缓存的实现原理，这样一本被吹上天的书为什么不讲透彻呢？今天早上爬起来赶紧找了几篇文章看看，直到发现了这篇博客:http://blog.sina.com.cn/s/blog_6592a07a0101gar7.html。讲的很不错。 一、IO缓存 　　系统调用：只操作系统提供...
漫谈linux文件IO
03-20
### 漫谈 Linux 文件 I/O #### 一、引言 在 Linux 开发领域，技术人员尤为关注几个关键性能指标：进程管理、CPU 使用率、内存占用、网络 I/O 和磁盘 I/O。其中，磁盘 I/O 性能尤其重要，因为它直接影响到系统的响应...
Linux文件IO
qq_57907966的博客
05-16 726
在 Linux 系统下, 用于对文件操作的库函数叫做文件 I/O主要包括 open()/close()/read()/write() /lseek() 相应的系统调用 (准确说法是对系统调用的封装的库函数)文件描述符是一个非负整数, 当打开一个已存在文件或者创建一个新文件时, 内核向进程返回一个文件描述符每个程序运行后, 操作系统会默认打开三个文件 标准输入 标准输出 标准错误输出, 文件描述符分别为 0 , 1 , 2标准输入对应的设备一般为键盘标准输出与标准错误输出设备一般为显示器。
linux的每次IO大小控制,linux文件io缓冲
weixin_34920313的博客
05-06 1030
linux文件io缓冲出于速度和效率考虑，系统io调用(即内核)和标准 C语言库的io函数(即 stdin 函数)在操作磁盘文件时会对数据进行缓冲。read(),write()系统调用在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区与内核缓冲区高速缓存( kemel buffer cache )之间复制数据。例如，如下调用将 3 个字节的数据从用户空间内存传递到内核空间的缓冲区中wr...
Linux-kernel-file-IO.rar_Linux IO_linux 文件读写_linux读写文件_文件io_简单内核
09-24
在压缩包中的`Linux-kernel-file-IO.doc`文档可能详细描述了如何在内核模块中实现这些操作的示例代码，包括如何编写内核模块、注册系统调用、以及在内核空间中进行文件操作的具体函数调用等。通过分析这份文档，可以...
磁盘IO：缓存IO、直接IO、内存映射
热门推荐
云深不知处
04-09 1万+
磁盘IO的几种访问方式如下： 缓存IO        缓存I/O又被称作标准I/O，大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。        读操作：操作系统检查内核的缓冲区有没有需要的数据，如果已经缓存了，那么就直接从缓存中返回；否则从磁盘中读取，然后缓存在操作系统
Linux——文件（IO缓冲篇）
0 error(s)
04-02 392
文章目录文件I/O的内核缓冲：缓冲区高速缓存stdio库缓冲设置stdio流的缓冲模式刷新stdio缓冲区参考文献 写在前面：此系列主要参考自UNIX系统编程手册，将会有大量demo。但是本章大多还是概念性知识，demo基本没有，比较枯燥。 书籍链接：微云链接 文件I/O的内核缓冲：缓冲区高速缓存 出于速度和效率考虑，系统I/O调用和标准C语言库I/O函数在操作磁盘文件时会对数据进行缓冲。 read和write系统调用在操作磁盘文件时不会直接发起磁盘访问，仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据
linux文件io缓冲区,linux下的文件IO缓冲区，及其相关操作
weixin_39567870的博客
05-14 283
linux下相关的IO系统调用，及缓冲区对系统调用的影响linux下的文件IO操作浅谈文件IO缓冲Read()和write()函数在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。当调用write()函数的写入3个字节的时候，由于系统调用与磁盘操作并不同步，在write()函数结束后续某个时刻，内核才会将其缓冲区中的数据写入磁盘。如果在此期间，另一个进...
【Linux】基础IO总结
风铃的博客
03-16 260
文章目录C语言操作接口1.打开2.写3.读4.偏移5.关闭举例1写文件举例2读文件系统调用操作接口1.打开2.写3.读4.偏移5.关闭举例1写文件举例2读文件总结 C语言操作接口 1.打开 fopen FILE *fopen(const char *path, const char *mode) path :打开文件的方式（文件路径+文件名称） mode： 以何种方式打开 r:以只读方式打开，当文件不存在时，就打开失败 r+：以读写方式打开，当文件不存在时，就会打开失败 w:以只写方式打开，如果文
linux系统编程-文件IO缓冲
weixin_40555950的博客
10-16 267
1.什么是文件IO缓冲，为什么需要文件IO缓冲 什么是文件IO缓冲 顾名思义，用来缓存数据。read()和 write()系统调用在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。在后续某个时刻，内核会将其缓冲区中的数据写入磁盘（因此，可以说系统调用与磁盘操作并不同步。） 为什么需要文件IO缓冲？ A、更为快速，系统调用不需要等待磁盘操作。 B、更为高效，减少了内核必须执行的磁盘传输次数。 2. 指定stdio缓冲区形式、刷新缓冲区 如何指定std
Linux系统编程-文件IO缓冲
qq_26072739的博客
07-22 259
内核缓冲：缓冲区高速缓存 read()和write()系统调用在操作磁盘文件时不会直接发起磁盘访问，而仅仅在用户空间缓冲区和内核缓冲区高速缓存之间复制数据。例如 write(fd, "abc", 3); write会立即返回。在后续某个时刻，内核会将其缓冲区中的数据写入磁盘。在此期间，另一进程试图读取该文件的这几个字节，那么内核将会自动从缓冲区高速缓存中提供。 stdio库缓冲 设置一个stdio流的缓冲模式 #include<stdio.h> int setvbuf(FILE* stram,
生动详细分析Linux IO 模型总结
chasonli666的博客
10-23 186
一.场景： 地点为网吧，时间为晚上7点，xxx游戏正在更新版本，要玩游戏需更新下载游戏（大概需要一个小时），此刻正是晚饭时间，大家都饿了；现在网民们要做的是下载游戏、吃饭，怎么安排更为合理呢。 二、方案： 1.心里装的都是游戏，根本没心情吃饭： 下载游戏，双眼定制进度条，不想干其他的，等看到下载完毕之后，才想去吃饭。 缺点：耽误吃饭。 ...
linux IO流程中各级缓存
tuolaji8的专栏
07-17 1558
1 “buffer cache” （指内存） 要理解”buffer cache”这个东西，需要澄清一下概念： 一般情况下，进程在io的时候，要依赖于内核中的一个buffer模块来和外存发生数据交换行为。另一个角度来说，数据从应用进程自己的buffer流动到外存，中间要先拷贝到内核的buffer中，然后再由内核决定什么时候把这些载有数据的内核buffer写出到外存。 “buffer cac...
linux下的文件IO缓冲区，及其相关操作
然然然星人的博客
06-13 5658
linux下相关的IO系统调用，及缓冲区对系统调用的影响
linux I/O缓存类型
chenwh_cn的博客
05-24 202
文章目录一、标准 I/O缓存类型二、全缓存 - 普通文件三、行缓存 - 标准输出四、不缓存 - 标准错误输出 一、标准 I/O缓存类型 I/O缓冲的目的是使用read和write时尽可能少的访问硬盘次数 标准I/O提供了三种类型的缓冲： 全缓存 在填满缓冲区后才进行I/O操作。常规文件（如普通文本文件）通常是全缓冲的 行缓存 当在输入和输出中遇到换行符时进行I/O操作。标准输入和标准输出对应终端设备（如屏幕）时通常是行缓冲的 不缓存 每次输入和输出操作都进行I/O操作。标准错误输出通常是无缓冲的，这样
Linux文件IO逆序操作性能比较分析
标题：“Linux IO 系统的开销比较（文件逆序）”和描述：“实现文件逆序并比较程序性能”表明了本文档将会讨论和比较在Linux环境下，对文件进行逆序操作时不同I/O系统调用的性能开销。文件逆序是指将文件中的数据按...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值