关于文件读写缓存的问题（flush的使用场景）

最新推荐文章于 2025-10-25 11:47:54 发布
原创 最新推荐文章于 2025-10-25 11:47:54 发布 · 9.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在使用Python或Java等语言操作文件时遇到的重复写入问题，特别是当同一文件需要同时读取和追加写入内容，并且要避免重复时。文章指出，底层文件系统的缓存机制可能是导致这一问题的原因之一，并提供了一个简单的解决方案——通过调用flush方法来强制将缓冲区的内容写入磁盘。
Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

核心提示：
根据linux操作系统定义，底层的文件的write（）方法是会进行缓存的
当用python或者java操作文件时，尤其是需要又读又写同一个文件的，比如：
我需要从头先读这个文件f1，同时往这个f1 又需要向末尾添加写，同时还要保证，内容不能重复，当需要执行很多次这种操作时，这个时候如果不考虑，文件底层的缓存问题，极有可能出现重复内容，即使你已经做了重复性检测，而且重复内容不是很多，10条记录才会出现那么几十个，所以，不能解释说，重复性检测功能是无效的，但是却又明明出现了重复。这个时候很有可能是因为底层写文件缓存的问题。

解决办法： 执行 flush方法，强制，写到存到存储设备，清空内存

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

HBase读写缓存
ThreeAspects的博客
03-15 1709
目录读写缓存BlockCacheLRUBlockCacheSlabCacheBucketCache 读写缓存   HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。   当数据写入HBase时，会先写入memstore，RegionServer会给每个region提供一个memstore，memstore中的数据达到系统设置的阈值后，会触发flush将memstore中
后端开发必知：多级缓存的7种经典应用场景
架构师的AI之路，分享AI应用开发架构的学习与实践。
07-15 572
在高并发后端系统中，单级缓存（如仅用Redis或仅用本地缓存）往往无法兼顾性能、容量、一致性三大核心需求。多级缓存通过组合本地缓存（快但小）分布式缓存（大但略慢）、**数据库（权威但最慢）**的优势，成为解决高并发问题的“终极武器”。本文将通过7种经典应用场景，结合生活化比喻代码示例数学模型和流程图，拆解多级缓存的设计逻辑。无论你是刚接触缓存的新手，还是需要优化系统性能的资深开发者，都能从中学到可直接落地的解决方案。本地缓存。
linux内核写文件flush,innodb_flush_method 与linux File I/O
weixin_36447179的博客
04-29 499
从实验角度比较了fdatasync，O_DSYNC和O_DIRECT在性能上的差异。本文将试图从Linux/Unix"文件I/O"(unbuffered I/O)的角度来解释innodb_flush_method是如何影响MySQL的I/O。innodb_flush_log_at_trx_commit参数确定日志文件何时write、flush。innodb_flush_method则确定日志及数据...
linux内核写文件flush,Linux Kernel文件系统写I/O流程代码分析（二）bdi_writeback
weixin_32401411的博客
04-29 726
Linux Kernel文件系统写I/O流程代码分析(二)bdi_writeback上一篇，我们看到Buffered IO，写操作写入到page cache后就直接返回了，本文主要分析脏页是如何刷盘的。概述由于内核page cache的作用，写操作实际被延迟写入。当page cache里的数据被用户写入但是没有刷新到磁盘时，则该page为脏页(块设备page cache机制因为以前机械磁盘以扇区为...
零拷贝（Zero-Copy）
最新发布
weixin_43016432的博客
10-25 652
（2 次 DMA + 2 次 CPU），CPU 需要参与两次内存拷贝，效率低。之间会发生多次拷贝，而零拷贝的目标是。（尤其是网络传输和文件传输），目的是。把文件数据发送到网络连接，实现。在传统 I/O 模型中，数据在。方法底层会调用操作系统的。系统调用，从而实现零拷贝。
linux flush 文件,Linux 写文件时 何时 flush buffer
weixin_39756416的博客
04-28 872
遇到了一个很奇怪的问题，读文件失败。尤其是想要读取特别小的文件的时候。流程是：数据流 -> 存入文件 -> 读出文件数据 -> 操作开始怀疑文件没有保存下来。仔细查看了log， 文件的打开，写入，关闭都是正常的。唯一能想到的是，有可能数据在buffer里，关闭的时候，没有冲刷(flush)。所以这个时间点，去读取文件，就会读取失败。那操作系统什么时间会去flush buffer查...
计算机磁盘的知识（write()方法和flush()的作用
wudikaixinguo的专栏
07-25 2303
write()方法和flush()的作用 冯诺依曼体系结构中，将计算机分为运算器，控制器，存储器，输入/输出设备。 运算器，控制器是CPU的组成成分（还有一些寄存器）。 存储器则可以分为内存储器（内存）和外存储器（硬盘）， 输入输出设备主要来完成系统的I/O操作，I/O操作只要是对硬盘（外存）中的数据进行读和取。 由于CPU的运算速度远远大于I/O操作，因此，当一个进程需要产生许多I/O操作，会耗费许多系统资源，同时也不利于进程之间的资源竞争，导致系统资源的利用率下降 由于CPU不能直接访问外存
写文件时慎用flush，如何提升效率？
wanglong1221的博客
01-03 4637
        java的io流相当于一个数据流通的管道，这里面存在一个默认的数据缓冲区，大小是8k，如果缓存达到8k，则自动保存到硬盘文件或其它存储设备文件中。如果保存过程中的数据少于8k之后,那么这时，它就有可能把少于8k的这部分数据缓存在缓冲区中，而不写进存储设备里面，因此，我们调用当前io流的flush()方法，清空当前缓冲区，即把数据完整的存储到文件中。         但是对于Buf...
CEPH缓存层级对象Flush和Evict逻辑及其源码解析-多线程任务调度与缓存管理关键技术
03-16
使用场景及目标：适用于优化基于 Ceph 集群的数据存储性能调优场合，帮助理解和改进缓存策略，提高磁盘读写效率，降低延迟时间；同时为 Ceph 开发提供详尽的技术文档支持。 其他说明：文章重点在于理解 Ceph 系统...
深入理解ob_flush和flush的区别(ob_flush()与flush()使用方法)
12-18
在实际应用中，当遇到使用 `file_get_contents()` 和 `file_put_contents()` 进行大量数据读写，或者需要实时输出结果（比如在循环中部分输出结果，模拟Ajax异步效果）时，`ob_flush()` 和 `flush()` 就显得尤为重要...
linux---缓冲区及FILE理解
weixin_73919606的博客
04-10 1035
在介绍缓冲区问题之前我们先来看一段代码：结果为：这正是我们想要的结果。对此，我们再对这段代码做一些修改：我们在代码最后加上fork()函数，创建子进程。其实结果还是我们想的那样，很正常。但是当我们把输出结果重定向到文件中去的话，就会出现下面这样非常诡异的现象：我们可以发现，重定向到磁盘文件buf.txt中的数据，顺序乱了，而且刚刚我们使用C语言接口打印的数据全都输出了两份，这究竟是为什么呢？其实这就是缓冲区搞得鬼。
python linux下运行无输出的真相竟是flush()
Katios
03-20 9589
上次的crontab输出问题，抱歉了，我想错了。 原文：http://blog.youkuaiyun.com/sinat_21302587/article/details/62221648本以为是 crontab 的问题，其实是 python 的问题。好了，听我细细道来。环境： linux代码：import time import sysfor i in range(5): print i,
linux flush 保证 磁盘,Linux 磁盘I/O优化
weixin_42477197的博客
05-04 918
Linux 文件缓存是一项重要的性能改进，在大多数情况下，读缓存在绝大多数情况下是有益无害的(程序可以直接从RAM中读取数据)。写缓存比较复杂，Linux内核将磁盘写入缓存，过段时间再异步将它们刷新到磁盘。这对加速磁盘I/O有很好的效果，但是当数据未写入磁盘时，丢失数据的可能性会增加。当然，也存在缓存被写爆的情况，还可能出现一次性往磁盘写入过多数据，以致使系统卡顿。这些卡顿是因为系统认为，缓存太大...
关于flush
HKjinzhao的专栏
01-28 958
flush(stdin)刷新标准输入缓冲区，把输入缓冲区里的东西丢弃；fflush(stdout)刷新标准输出缓冲区，把输出缓冲区里的东西打印到标准输出设备上。它们包括在stdio.h
linux flush 保证 磁盘,linux cache介绍及控制
weixin_39929377的博客
05-04 1178
参考文档有关Cache文件缓存是提升性能的重要手段。毋庸置疑，读缓存(Read caching)在绝大多数情况下是有益无害的(程序可以直接从RAM中读取数据)，而写缓存(Write caching)则相对复杂。Linux内核将写磁盘的操作分解成了，先写缓存，每隔一段时间再异步地将缓存写入磁盘。这提升了IO读写的速度，但存在一定风险。数据没有及时写入磁盘，所以存在数据丢失的风险。同样，也存在cach...
【java学习笔记-io流 文件读写和键盘读写】带缓存的输入／输出流和数据输入／输出流
qq_41358574的博客
06-05 872
带缓存的输入／输出流 缓存是I/O的一种性能优化。缓存流为I/O流增加了内存缓存区。有了缓存区，使得在流上执行skip()、mark()和reset()方法都成为可能。 BufferedInputStream与BufferedOutputStream类 BufferedInputStream类可以对所有InputStream类进行带缓存区的包装以达到性能的优化。 BufferedInputStream类有两个构造方法： 　BufferedInputStream(InputStream in)。 　Buffe
【Linux C编程-高级篇】换行回车探讨&printf行缓冲&write函数掉电保护&线程安全相关
优快云GuoYuying的博客
01-15 1148
换行回车探讨&printf行缓冲&write函数掉电保护&线程安全相关
write()方法和flush()的作用
aozhouji0069的博客
08-31 3073
冯诺依曼体系结构中，将计算机分为运算器，控制器，存储器，输入/输出设备。 运算器，控制器是CPU的组成成分（还有一些寄存器）。 存储器则可以分为内存储器（内存）和外存储器（硬盘）， 输入输出设备主要来完成系统的I/O操作，I/O操作只要是对硬盘（外存）中的数据进行读和取。 由于CPU的运算速度远远大于I/O操作，因此，当一个进程需要产生许多I/O操作，会耗费许多系统资源，同时也不...
【Linux】缓冲区再理解
Rinne's blog
04-30 1353
文章目录一、标准流二、linux系统提供操作系统调用接口1. open创建文件2. write写入3. read读入三、文件描述符1. 由来2. 文件描述符分配规则3. 输出重定向4. dup输出重定向四、缓冲区 一、标准流 c语言程序运行起来就默认打开3个流 标准输出流 - stdout（屏幕打印,这里屏幕就是编译器调试控制台） 标准输入流 - stdin（键盘） 标准错误流 - stderr 这几个流类型都是FILE* fputs向一般文件（磁盘）或者硬件进行写入 #include <stdi
如何绕过操作系统文件缓存直接读写磁盘
06-16
<think>我们讨论的是如何绕过操作系统的文件缓存进行直接磁盘I/O，这在数据库系统和需要高性能、确定性I/O延迟的场景中非常重要。以下是几种主要方法：###一、绕过文件缓存的直接I/O技术####1.**O_DIRECT标志（Linux）**-**原理**：在`open()`系统调用中指定`O_DIRECT`标志，使数据直接在用户空间缓冲区和磁盘间传输，绕过页缓存[^1][^2]。-**使用示例**：```cintfd=open("/dev/sda1",O_RDWR|O_DIRECT);//打开磁盘分区//或打开具体文件intfd=open("data.bin",O_RDWR|O_DIRECT);```-**对齐要求**：-内存缓冲区地址必须按页大小对齐（`posix_memalign`分配）-文件偏移量和传输大小必须是磁盘逻辑块大小（通常512字节）的整数倍-**性能影响**：减少内存拷贝，但要求应用自行管理缓存[^2]####2.**直接访问原始块设备**-直接读写磁盘设备文件（如`/dev/sda`），天然绕过文件系统缓存：```cintfd=open("/dev/sda",O_RDWR);//无需O_DIRECT```-**风险**：需手动处理文件系统结构，易导致数据损坏####3.**内存映射+MAP_SYNC（Linux4.15+）**-使用`mmap`的`MAP_SYNC`标志实现持久内存访问：```cvoid*addr=mmap(NULL,length,PROT_READ|PROT_WRITE,MAP_SHARED_VALIDATE|MAP_SYNC,fd,0);```-特点：写操作直接作用于持久化存储，但仍需内存对齐[^3]####4.**fsync/fdatasync强制刷盘**-虽然不绕过缓存，但可确保数据落盘：```cwrite(fd,buf,size);fdatasync(fd);//强制写入物理磁盘```-区别：-`fsync`：同步文件数据和元数据-`fdatasync`：仅同步数据，效率更高[^4]###二、数据库系统的实践####1.**InnoDB双写缓冲区**-使用`O_DIRECT`打开数据文件：```iniinnodb_flush_method=O_DIRECT```-避免双缓存：否则InnoDB缓存和OS页缓存会重复消耗内存####2.**绕过缓存的代价**|方法|优势|劣势||------|------|------||`O_DIRECT`|避免双缓存，确定性延迟|对齐复杂，小I/O效率低||原始设备|完全控制|丧失文件系统管理||`MAP_SYNC`|编程简化|仅支持DAX文件系统|###三、技术实现要点####1.内存对齐示例（C语言）```c#include<stdlib.h>void*buf;posix_memalign(&buf,512,4096);//512字节对齐，分配4KBread(fd,buf,4096);//O_DIRECT模式读取```####2.I/O性能对比测试```bash#测试带缓存的写ddif=/dev/zeroof=testfilebs=4kcount=10000#测试O_DIRECT写ddif=/dev/zeroof=testfilebs=4kcount=10000oflag=direct```结果预期：`oflag=direct`的吞吐量更低但延迟更稳定###四、适用场景与建议1.**推荐使用**：-数据库数据文件（MySQLInnoDB）-高频写日志（如事务日志）-需要确保数据立即持久化的场景2.**避免使用**：-普通应用文件-顺序读取为主的热数据-内存受限系统（失去缓存加速效益）>**警告**：直接I/O错误处理更复杂，可能引发数据损坏，务必配合校验机制如CRC32。---###结论绕过操作系统文件缓存可通过`O_DIRECT`标志、直接访问块设备或新型内存映射技术实现，核心目标是消除内核缓存带来的不确定性延迟和内存冗余。这类技术需严格满足内存/偏移对齐要求，主要应用于数据库、事务日志等对I/O确定性要求高的场景[^1][^2][^3]。§§相关问题§§1.`O_DIRECT`与`O_SYNC`标志在I/O语义上有何本质区别？2.如何设计用户态缓存来替代内核页缓存的功能？3.在SSD上使用直接I/O是否仍具有性能优势？4.文件系统DAX模式如何实现持久内存的直接访问？5.Windows系统下是否有类似`O_DIRECT`的机制？</think>### 绕过操作系统文件缓存直接读写磁盘的技术实现 在数据库和存储系统优化中，绕过操作系统文件缓存（页缓存）进行直接磁盘访问可显著提升I/O确定性和性能。以下是核心实现方法： --- #### 一、Linux 系统实现方案 1. **O_DIRECT 标志** - 在 `open()` 系统调用中启用 - 数据直接在用户空间和磁盘间传输 ```c int fd = open("/path/to/file", O_RDWR | O_DIRECT); ``` - **对齐要求**： - 内存缓冲区地址需按页大小对齐（`posix_memalign` 分配） - 文件偏移量必须是 512 字节的整数倍 - I/O 大小需匹配磁盘扇区大小[^1] 2. **原始块设备访问** - 直接操作 `/dev/sdX` 设备文件： ```c int fd = open("/dev/sda", O_RDWR); // 绕过文件系统层 ``` 3. **内存映射 + MAP_SYNC (Linux 4.15+)** ```c void *addr = mmap(NULL, length, PROT_READ|PROT_WRITE, MAP_SHARED_VALIDATE | MAP_SYNC, fd, 0); ``` - 写操作直接作用于持久化存储[^3] --- #### 二、数据库系统实践 1. **MySQL InnoDB 配置** ```ini innodb_flush_method = O_DIRECT # 绕过双缓存 innodb_doublewrite = ON # 防止部分写失效 ``` - 效果：避免 OS 缓存与 InnoDB 缓冲池的重复缓存[^1] 2. **PostgreSQL 直接 I/O** ```sql CREATE TABLESPACE direct_io LOCATION '/data' WITH (direct_io = true); ``` --- #### 三、技术原理对比 | 方法 | 延迟 | CPU 开销 | 数据一致性 | 适用场景 | |---------------------|------|----------|------------|------------------------| | 标准文件 I/O | 高 | 低 | 依赖刷盘 | 普通应用 | | O_DIRECT | 中 | 中 | 强保证 | 数据库/事务日志 | | 原始设备访问 | 最低 | 高 | 应用控制 | 自定义文件系统 | | MAP_SYNC | 低 | 低 | 强保证 | 持久内存应用 | --- #### 四、性能优化关键 1. **I/O 对齐处理** ```c // 内存对齐示例 posix_memalign(&buffer, 512, size); // 512字节对齐 ``` 2. **并发控制** - 结合 `io_uring` 实现异步直接 I/O（Linux 5.1+） ```c struct io_uring ring; io_uring_queue_init(32, &ring, 0); // 创建异步队列 ``` 3. **屏障指令保障** ```c fsync(fd); // 确保所有操作落盘[^4] ``` --- #### 五、典型应用场景 1. **数据库事务日志** - 要求写操作原子性 - 例：InnoDB 的 redo log 强制使用 O_DIRECT 2. **高性能存储引擎** - RocksDB 的 WAL (Write-Ahead Log) - Cassandra 的 CommitLog 3. **金融交易系统** - 低延迟订单处理 - 确定性写入延迟 < 100μs --- ### 风险与注意事项 1. **数据丢失风险** - 直接写盘失败需应用层重试机制 - 必须实现校验和(如 CRC32) 2. **性能陷阱** - 小 I/O 操作性能反而下降（需聚合写入） - SSD 上随机写可能触发写放大 > **实验验证**： > ```bash > # 测试O_DIRECT性能 > dd if=/dev/zero of=testfile bs=4k count=10000 oflag=direct > ``` --- ### 结论 绕过文件缓存可通过 **O_DIRECT 标志**、**原始设备访问**和 **MAP_SYNC 内存映射**实现，核心价值在于消除内核缓存带来的不确定性延迟。在数据库系统中，该技术可减少双缓存冗余，确保关键操作（如事务提交）的持久化时效性[^1][^3]。实施时需严格处理内存对齐和错误恢复。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值