Linux同步IO:sync, fsync, fdatasync区别

最新推荐文章于 2023-05-08 10:55:32 发布
原创 最新推荐文章于 2023-05-08 10:55:32 发布 · 204 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

本文详细解析了 Linux 系统中三种同步 IO 操作：sync、fsync 和 fdatasync 的工作原理及应用场景，帮助读者理解它们之间的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Linux同步IO:sync, fsync, fdatasync区别

https://blog.youkuaiyun.com/younger_china/article/details/51127127

Linux sync 、fsync 和 fdatasync详解
MISAYAONE的博客
09-21 2222
ES 里，摒弃了 fsync，嫌它太耗时， 它使用了数据的冗余备份来实现的数据的安全性。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，...
深入理解Unix/Linux中sync、fsync、fdatasync和sync_file_range系统调用以及他们的区别
最新发布
Go与Python双剑合一
06-27 2924
在linux内核中都有缓冲区或者页面高速缓存，大多数磁盘IO都是通过缓冲写的。当你想将数据write进文件时，内核通常会将该数据复制到其中一个缓冲区中，如果该缓冲没被写满的话，内核就不会把它放入到输出队列中。当这个缓冲区被写满或者内核想重用这个缓冲区时，才会将其排到输出队列中。等它到达等待队列首部时才会进行实际的IO操作。在进行数据库开发时，为了避免缓存中的数据还没有写入到磁盘就宕机导致的数据丢失，就需要使用fsync或这fdatasync来保证数据成功写入磁盘。
Linux - IO的同步与异步以及五种网络IO模式(阻塞IO、非阻塞IO、IO多路复用、信号驱动IO和异步IO)
星辰的博客
07-11 582
Linux - IO的同步与异步以及五种网络IO模式一、同步IO和异步IO1. 同步IO2. 异步IO二、五种网络IO模式1. 阻塞IO 一、同步IO和异步IO 1. 同步IO 场景：小明去打开水，而开水塔此时没有水，小明在现场一直等待开水到来，或者不断的轮询查看是否有开水，直到有开水取到水为止，这是同步IO的一种案例！ 特点： 同步IO是指用户进程触发I/O操作并等待或轮询的查看I/O操作是否就绪 同步IO的执行者是IO操作的发起者 同步IO需要发起者进行内核态到用户态的数据拷贝过程，所以这里必须
linux 同步 io 命令,linux 同步IO: sync、fsync与fdatasync（转）
weixin_34736362的博客
04-30 284
传统的UNIX实如今内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都经过缓冲进行。当将数据写入文件时，内核一般先将该数据复制到其中一个缓冲区中，若是该缓冲区还没有写满，则并不将其排入输出队列，而是等待其写满或者当内核须要重用该缓冲区以便存放其余磁盘块数据时，再将该缓冲排入输出队列，而后待其到达队首时，才进行实际的I/O操做。这种输出方式被称为延迟写(delayed write)(Bach...
sync 和 fsync
xulei_106的专栏
08-07 1750
在做行车记录仪时，发现经常出现几K的小文件，
【编程实践】Linux下的同步IO ：sync、fsync与 fdatasync
AI天才研究院
04-16 1万+
一般情况下，对硬盘(或者其他持久存储设备)文件的write操作，更新的只是内存中的页缓存(page cache)，而脏页面不会立即更新到硬盘中，而是由操作系统统一调度，如由专门的flusher内核线程在满足一定条件时(如一定时间间隔、内存中的脏页达到一定比例)内将脏页面同步到硬盘上(放入设备的IO请求队列)。举例来说，文件的尺寸(st_size)如果变化，是需要立即同步的，否则OS一旦崩溃，即使文件的数据部分已同步，由于metadata没有同步，依然读不到修改的内容。那么，什么是“必要的情况”呢？
文件系统 fdatasync fsync sync 详解
互联网架构师笔记
05-08 625
数据写入内存空间，这段空间就是缓冲区buffer，写入缓冲区；把数据从内存空间读出，这段空间就是缓存器cache，读取缓存区
linux 同步IO: sync msync、fsync、fdatasync与 fflush
qccz123456的博客
11-30 1156
最近阅读leveldb源码，作为一个保证可靠性的kv数据库其数据与磁盘的交互可谓是极其关键，其中涉及到了不少内存和磁盘同步的操作和策略。为了加深理解，从网上整理了linux池畔同步IO相关的函数，这里做一个罗列和对比。大部分为copy，仅为记录，请各位看官勿喷。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制...
函数sync、fsync与fdatasync的总结整理(必看篇)
09-15
在IT领域，尤其是在操作系统和文件系统管理中，`sync`、`fsync`和`fdatasync`是三个至关重要的函数，它们用于确保数据的安全写入和系统一致性。以下是这三个函数的详细说明： 1. **sync函数**： `sync`函数的作用...
linux IO刷新机制sync, fsync, fdatasync和fflush详解及注意事项
hwmstudent的博客
02-17 2455
Linux，unix在内核中设有 缓冲区高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束 fsync：只对有文件描述符制定的单一文件起作用，并且等待些磁盘操作结束，然后返回。 fdatasync：类似fsync，但它只影响文件的数据部分。fsync还会同步更新文件的属性。 fflush：标准I/O函数（如：fread，fwrite）会在内存建立缓冲，该函数刷新内存缓冲，将内容写入内核缓冲，要想将其写入磁
聊聊几款文件同步备份工具，你更喜欢哪一款呢？
ChaITSimpleLove的博客
12-17 1万+
文件备份对企业的价值 对于绝大多数人而言，电脑中的不少文件对于我们来说都非常重要，一旦丢失，损失将会难以估量。 随着网络威胁的不断发展和变得越来越复杂，文件传输和托管文件传输之间的区别对于企业来说至关重要。应用先进技术管理文件传输的挑战在于区分以文档为中心的协作文件共享和自动或部分自动化文件传输，以支持业务流程（通常以兼容的方式）。 为了安全地管理信息并解决最终用户和IT之间的平衡，组织需要考虑这三个基础来进行文件传输过程： **1. 自动化：**通过集中式文件传输系统将自动化应用到文件传输过程中，消除了手
一句话说明sync, fsync, fdatasync的区别
gundanseed的专栏
11-20 1869
原话来自此处 调用系统函数write时 有写延迟，write负责把东西写到缓存区上， sync负责把缓存区上的东西排到写队列中(缓冲区->写队列)，在由守护进程负责把队列里的东西写到磁盘上，而sync函数在把缓存区上的东西排到写队列后不管写队列中的内容是否写到磁盘上都立即返回。 fsync函数则是对指定文件的操作，而且必须等到写队列中的内容都写到磁盘后才返回，并且更新文件inode结点里的内
同步I/O sync、fsync和fdatasync函数
一只叫做Unix的猫
03-03 2748
同步内核缓冲区 1.缓冲区简介 人生三大错觉之一：在调用函数write()时，我们认为该函数一旦返回，数据便已经写到了文件中.但是这种概念只是宏观上的.实际上，操作系统实现某些文件I/O时（如磁盘文件），为了保证I/O的效率，在内核通常会用到一片专门的区域（内存或独立的I/O地址空间）作为I/O数据缓冲区.它用在输入输出设备和CPU之间，用来缓存数据，使得低速的设备和高速的CPU能够协调工
linux 同步IO: sync、fsync与fdatasync
热门推荐
Cynric 的博客
04-07 8万+
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach
UNIX高级环境编程（14）文件IO - O_DIRECT和O_SYNC详解
zdy0_2004的专栏
04-12 5950
http://www.cnblogs.com/suzhou/p/5381738.html 春天来了，除了工作学习，大家也要注意锻炼身体，多出去运动运动。  上周末在元大都遗址公园海棠花溪拍的海棠花。   进入正题。 O_DIRECT和O_SYNC是系统调用open的flag参数。通过指定open的flag参数，以特定的文件描述符打开某一
文件I/O编程之sync、fsync和fdatasync函数
wsclinux的专栏
10-30 1293
传统的UNIX系统实现在内核有一个多数硬盘I／O操作通过的缓冲区。当我们向一个文件写入数据时，数据通常被内核拷贝到它的其中一个缓冲区，并排队以便在之后的某个时刻写入到磁盘中。这被称为延迟写入。（Bach[1986]的第3章深入讨论了缓冲缓存。） 内核最终把所有的延迟写入块写到磁盘中，一般在它需要为其它磁盘块重用这个缓冲区时。为了确保磁盘内容和缓冲区缓存的一致性，sync、fsync和fdat
E667:Fsync failed(how to solve)
weixin_34413357的博客
12-17 2383
今天在学习一个关闭icmp回显的配置时候，vim出现了Fsync failed这个问题！ 下面来说一下我发生这种情况的原因（系统CentOS6.5）,那时编辑完后先是输入“q”，正如我们所想，已修改过的配置它会提醒我要把数据写入缓冲区。于是再使用“wq”时候，就发现了Fsync failed这个问题。 当我们遇到这种情况的时候： （1）最简单的解决方法就是使用“！”...
在UNIX和Windows中关闭磁盘I/O缓冲
Dlite的技术笔记
09-24 3682
     现代操作系统对磁盘读写一般都提供提供了内存缓冲机制，通常分为直写（write through）和回写（write back）两种方式。直写就是操作系统确保写到磁盘中，系统调用（比如write()函数）才返回；回写可以理解为数据写到内存磁盘缓冲中即返回，由操作系统决定在合适的时间写到磁盘上。所以如果系统出现突然断电等故障，回写的数据可能无法保证其已经写到磁盘上，这对某些应用是不可接受的（比
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值