Linux同步IO:sync, fsync, fdatasync区别

最新推荐文章于 2023-05-08 10:55:32 发布
原创 最新推荐文章于 2023-05-08 10:55:32 发布 · 221 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

本文详细解析了 Linux 系统中三种同步 IO 操作：sync、fsync 和 fdatasync 的工作原理及应用场景，帮助读者理解它们之间的区别。

Linux同步IO:sync, fsync, fdatasync区别

https://blog.youkuaiyun.com/younger_china/article/details/51127127

Linux sync 、fsync 和 fdatasync详解
MISAYAONE的博客
09-21 2383
ES 里，摒弃了 fsync，嫌它太耗时， 它使用了数据的冗余备份来实现的数据的安全性。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，...
第二章_文件IO : 同步内核缓冲区 sync、fsync和fdatasync函数
matafeiyanll的博客
10-03 921
同步内核缓冲区 sync、fsync和fdatasync函数 1.缓冲区简单介绍 人生三大错觉之中的一个：在调用函数write()时，我们觉得该函数一旦返回，数据便已经写到了文件里.可是这样的概念仅仅是宏观上的.实际上。操作系统实现某些文件I/O时（如磁盘文件）。为了保证I/O的效率，在内核一般会用到一片专门的区域（内存或独立的I/O地址空间）作为I/O数据缓冲区.它用在输入输出设备和CPU之间，用来缓存数据，使得低速的设备和快速的CPU可以协调工作避免低速的输入输出设备长时间占用CPU。降低系统调用，提高
Linux - IO的同步与异步以及五种网络IO模式(阻塞IO、非阻塞IO、IO多路复用、信号驱动IO和异步IO)
星辰的博客
07-11 620
Linux - IO的同步与异步以及五种网络IO模式一、同步IO和异步IO1. 同步IO2. 异步IO二、五种网络IO模式1. 阻塞IO 一、同步IO和异步IO 1. 同步IO 场景：小明去打开水，而开水塔此时没有水，小明在现场一直等待开水到来，或者不断的轮询查看是否有开水，直到有开水取到水为止，这是同步IO的一种案例！ 特点： 同步IO是指用户进程触发I/O操作并等待或轮询的查看I/O操作是否就绪 同步IO的执行者是IO操作的发起者 同步IO需要发起者进行内核态到用户态的数据拷贝过程，所以这里必须
linux 同步 io 命令,linux 同步IO: sync、fsync与fdatasync（转）
weixin_34736362的博客
04-30 303
传统的UNIX实如今内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都经过缓冲进行。当将数据写入文件时，内核一般先将该数据复制到其中一个缓冲区中，若是该缓冲区还没有写满，则并不将其排入输出队列，而是等待其写满或者当内核须要重用该缓冲区以便存放其余磁盘块数据时，再将该缓冲排入输出队列，而后待其到达队首时，才进行实际的I/O操做。这种输出方式被称为延迟写(delayed write)(Bach...
sync 和 fsync
xulei_106的专栏
08-07 1795
在做行车记录仪时，发现经常出现几K的小文件，
【编程实践】Linux下的同步IO ：sync、fsync与 fdatasync
AI天才研究院
04-16 1万+
一般情况下，对硬盘(或者其他持久存储设备)文件的write操作，更新的只是内存中的页缓存(page cache)，而脏页面不会立即更新到硬盘中，而是由操作系统统一调度，如由专门的flusher内核线程在满足一定条件时(如一定时间间隔、内存中的脏页达到一定比例)内将脏页面同步到硬盘上(放入设备的IO请求队列)。举例来说，文件的尺寸(st_size)如果变化，是需要立即同步的，否则OS一旦崩溃，即使文件的数据部分已同步，由于metadata没有同步，依然读不到修改的内容。那么，什么是“必要的情况”呢？
文件系统 fdatasync fsync sync 详解
互联网架构师笔记
05-08 750
数据写入内存空间，这段空间就是缓冲区buffer，写入缓冲区；把数据从内存空间读出，这段空间就是缓存器cache，读取缓存区
linux 同步IO: sync msync、fsync、fdatasync与 fflush
qccz123456的博客
11-30 1196
最近阅读leveldb源码，作为一个保证可靠性的kv数据库其数据与磁盘的交互可谓是极其关键，其中涉及到了不少内存和磁盘同步的操作和策略。为了加深理解，从网上整理了linux池畔同步IO相关的函数，这里做一个罗列和对比。大部分为copy，仅为记录，请各位看官勿喷。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制...
函数sync、fsync与fdatasync的总结整理(必看篇)
09-15
在IT领域，尤其是在操作系统和文件系统管理中，`sync`、`fsync`和`fdatasync`是三个至关重要的函数，它们用于确保数据的安全写入和系统一致性。以下是这三个函数的详细说明： 1. **sync函数**： `sync`函数的作用...
三、数据持久化：fdatasync 强制刷盘（借鉴 journald 的刷盘机制） 1. 参考： (14 封私信 / 66 条消息) linux同步IO函数：sync、fsync与fdatasync - 知乎 2. 介绍：Linux 内核默认会将 write() 数据缓存到内存（页缓存），定期同步到磁盘，若系统突然断电/崩溃，缓存中的日志会丢失。journald 用 fsync() 强制刷盘，Demo 用 fdatasync() （仅同步数据，不同步文件元数据，效率更高）适配嵌入式系统 3. 效果： a fdatasync(log_fd) 强制将内核缓存中的日志数据写入磁盘，确保日志“真正持久化”，而非停留在内存 四、三、数据持久化：fdatasync 强制刷盘（借鉴 journald 的刷盘机制） 1. 参考： (14 封私信 / 66 条消息) linux同步IO函数：sync、fsync与fdatasync - 知乎 2. 介绍：Linux 内核默认会将 write() 数据缓存到内存（页缓存），定期同步到磁盘，若系统突然断电/崩溃，缓存中的日志会丢失。journald 用 fsync() 强制刷盘，Demo 用 fdatasync() （仅同步数据，不同步文件元数据，效率更高）适配嵌入式系统 3. 效果： a fdatasync(log_fd) 强制将内核缓存中的日志数据写入磁盘，确保日志“真正持久化”，而非停留在内存 三、四点是不是冲突的呀？
最新发布
11-29
1. 参考： (14 封私信 / 66 条消息) linux同步IO函数：sync、fsync与fdatasync - 知乎 2. 介绍：Linux 内核默认会将 write() 数据缓存到内存（页缓存），定期同步到磁盘，若系统突然断电/崩溃，缓存中的日志会丢失。...
聊聊几款文件同步备份工具，你更喜欢哪一款呢？
ChaITSimpleLove的博客
12-17 1万+
文件备份对企业的价值 对于绝大多数人而言，电脑中的不少文件对于我们来说都非常重要，一旦丢失，损失将会难以估量。 随着网络威胁的不断发展和变得越来越复杂，文件传输和托管文件传输之间的区别对于企业来说至关重要。应用先进技术管理文件传输的挑战在于区分以文档为中心的协作文件共享和自动或部分自动化文件传输，以支持业务流程（通常以兼容的方式）。 为了安全地管理信息并解决最终用户和IT之间的平衡，组织需要考虑这三个基础来进行文件传输过程： **1. 自动化：**通过集中式文件传输系统将自动化应用到文件传输过程中，消除了手
linux 同步IO: sync、fsync, O_SYNC
Fybon的专栏
03-20 3192
sync和fsync baidu一下，有大量文章说明其作用。 下面举一个来自csdn的blog文章： http://blog.youkuaiyun.com/cywosp/article/details/8767327 其中说明如下： sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 fsync函数只对由文件描述符filedes指定的单一文件起作
一句话说明sync, fsync, fdatasync的区别
gundanseed的专栏
11-20 1922
原话来自此处 调用系统函数write时 有写延迟，write负责把东西写到缓存区上， sync负责把缓存区上的东西排到写队列中(缓冲区->写队列)，在由守护进程负责把队列里的东西写到磁盘上，而sync函数在把缓存区上的东西排到写队列后不管写队列中的内容是否写到磁盘上都立即返回。 fsync函数则是对指定文件的操作，而且必须等到写队列中的内容都写到磁盘后才返回，并且更新文件inode结点里的内
同步I/O sync、fsync和fdatasync函数
一只叫做Unix的猫
03-03 2775
同步内核缓冲区 1.缓冲区简介 人生三大错觉之一：在调用函数write()时，我们认为该函数一旦返回，数据便已经写到了文件中.但是这种概念只是宏观上的.实际上，操作系统实现某些文件I/O时（如磁盘文件），为了保证I/O的效率，在内核通常会用到一片专门的区域（内存或独立的I/O地址空间）作为I/O数据缓冲区.它用在输入输出设备和CPU之间，用来缓存数据，使得低速的设备和高速的CPU能够协调工
linux 同步IO: sync、fsync与fdatasync
热门推荐
Cynric 的博客
04-07 9万+
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach
UNIX高级环境编程（14）文件IO - O_DIRECT和O_SYNC详解
zdy0_2004的专栏
04-12 6039
http://www.cnblogs.com/suzhou/p/5381738.html 春天来了，除了工作学习，大家也要注意锻炼身体，多出去运动运动。  上周末在元大都遗址公园海棠花溪拍的海棠花。   进入正题。 O_DIRECT和O_SYNC是系统调用open的flag参数。通过指定open的flag参数，以特定的文件描述符打开某一
E667:Fsync failed(how to solve)
weixin_34413357的博客
12-17 2433
今天在学习一个关闭icmp回显的配置时候，vim出现了Fsync failed这个问题！ 下面来说一下我发生这种情况的原因（系统CentOS6.5）,那时编辑完后先是输入“q”，正如我们所想，已修改过的配置它会提醒我要把数据写入缓冲区。于是再使用“wq”时候，就发现了Fsync failed这个问题。 当我们遇到这种情况的时候： （1）最简单的解决方法就是使用“！”...
fsync性能问题
weixin_34405925的博客
10-17 1035
最近在测试种发现程序里调用fsync刷文件到磁盘时，开销只有几百微秒，于是对fsync相关机制进行了一番调查。 磁盘（或RAID卡）自身通常会有硬件缓存机制，对于写操作，有write back和write through两种机制，前者将数据写至缓存就会返回，而后者则会将数据写到磁盘介质上。当使用write back机制时，fsync刷的文件数据可能只是写到磁盘缓存就返回了，导致从应用看来，写...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值