0.2秒居然复制了100G文件?

Python 映射函数map()详解 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:奇伢云存储

9956ed2a6cb511fca6bc66f3a48b57f8.png


cp 引发的思考

今天同事用 cp 命令,把他给惊到了!

背景是这样的:他用 cp 拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!

用 ls 看一把文件,显示文件确实是 100 G。

sh-4.4# ls -lh
-rw-r--r-- 1 root root 100G Mar  6 12:22 test.txt

但是copy起来为什么会这么快呢?

sh-4.4# time cp ./test.txt ./test.txt.cp

real 0m0.107s
user 0m0.008s
sys 0m0.085s

一个 SATA 机械盘的写能力能到 150 M/s (大部分的机械盘都是到不了这个值的)就算非常不错了,正常情况下,copy 一个 100G 的文件至少要 682 秒 ( 100 G/ 150 M/s ),也就是 11 分钟。

实际情况却是 cp 一秒没到就完成了工作,惊呆了,为啥呢?

更诡异的是:他的文件系统只有 40 G,为啥里面会有一个 100 G的文件呢?

同事把我找来,看看这个诡异的问题。

分析文件

我让他先用 du 命令看一下,却只有 2M ,根本不是100G,这是怎么回事?

sh-4.4# du -sh ./test.txt
2.0M ./test.txt

再看 stat 命令显示的信息:

sh-4.4# stat ./test.txt
  File: ./test.txt
  Size: 107374182400 Blocks: 4096       IO Block: 4096   regular file
Device: 78h/120d Inode: 3148347     Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2021-03-13 12:22:00.888871000 +0000
Modify: 2021-03-13 12:22:46.562243000 +0000
Change: 2021-03-13 12:22:46.562243000 +0000
 Birth: -

stat 命令输出解释:

  1. Size 为 107374182400(知识点:单位是字节),也就是 100G ;

  2. Blocks 这个指标显示为 4096(知识点:一个 Block 的单位固定是 512 字节,也就是一个扇区的大小),这里表示为 2M;

划重点 :

  • Size 表示的是文件大小 ,这个也是大多数人看到的大小;

  • Blocks 表示的是物理实际占用空间 ;

同事问道:“ 文件大小和实际物理占用 ,这两个竟然不是相同的概念 !为什么是这样?”

“看来,我们必须得深入文件系统才能理解了,来,我给你好好讲讲。”

推荐下自己做的 Spring Boot 的实战项目:

https://github.com/YunaiV/ruoyi-vue-pro

文件系统

文件系统听起来很高大上,通俗话就用来存数据的一个容器 而已,本质和你的行李箱、仓库没有啥区别,只不过文件系统存储的是数字产品而已。

我有一个视频文件,我把这个视频放到这个文件系统里,下次来拿,要能拿到我完整的视频文件数据,这就是文件系统,对外提供的就是存取服务 。

现实的存取场景

例如你到火车站使用寄存服务:

存行李的时候 ,是不是要登记一些个人信息?对吧,至少自己名字要写上。可能还会给你一个牌子,让你挂手上,这个东西就是为了标示每一个唯一的行李。

c081b2e32000bce6887862d19cae265b.gif

取行李的时候 ,要报自己名字,有牌子的给他牌子,然后工作人员才能去特定的位置找到你的行李

9a8ac3c1a6161c879447e2577e09029f.gif

划重点:存的时候必须记录一些关键信息(记录ID、给身份牌),取的时候才能正确定位到。

文件系统

回到我们的文件系统,对比上面的行李存取行为,可以做个简单的类比;

  1. 登记名字就是在文件系统记录文件名;

  2. 生成的牌子就是元数据索引;

  3. 你的行李就是文件;

  4. 寄存室就是磁盘(容纳东西的物理空间);

  5. 管理员整套运行机制就是文件系统;

上面的对应并不是非常严谨,仅仅是帮助大家理解文件系统而已,让大家知道其实文件系统是非常朴实的一个东西,思想都来源于生活。

空间管理

现在思考文件系统是怎么管理空间的?

如果,一个连续的大磁盘空间给你使用,你会怎么使用这段空间呢?

直观的一个想法,我把进来的数据就完整的放进去。

674c340b00651587f6faff68424adcef.gif

这种方式非常容易实现,属于眼前最简单,以后最麻烦的方式。因为会造成很多空洞,明明还有很多空间位置,但是由于整个太大,形状不合适(数据大小),哪里都放不下。因为你要放一个完整的空间。

怎么改进?有人会想,既然整个放不进去,那就剁碎了呗。这里塞一点,那里塞一点,就塞进去了。

对,思路完全正确。改进的方式就是切分,把空间按照一定粒度切分 。每个小粒度的物理块命名为 Block,每个 Block 一般是 4K 大小,用户数据存到文件系统里来自然也是要切分,存储到磁盘上各个角落。

e83c2e477e770340e60a240a8cc33c84.gif

图示标号表示这个完整对象的 Block 的序号,用来复原对象用的。

随之而来又有一个问题:你光会切成块还不行,取文件数据的时候,还得把它们给组合起来才行。

所以,要有一个表记录文件对应所有 Block 的位置 ,这个表被文件系统称为inode 。

写文件的流程是这样的:

  1. 先写数据:数据先按照 Block 粒度存储到磁盘的各个位置;

  2. 再写元数据:然后把 Block 所在的各个位置保存起来,即inode(我用一本书来表示);

3d66ea9ed7dab2361a716d4ead3f8b15.gif

读文件流程则是:

  1. 先读inode,找到各个 Block 的位置;

  2. 然后读数据,构造一个完整的文件,给到用户;

a67ad30b276b70ed6b4b7504da307d26.gif

inode/block 概念

好,我们现在来看看inode,直观地感受一下:

eb62e826dadf6328f01ff75c949732cf.png

这个inode有文件元数据和Block数组(长度是15),数组中前两项指向Block 3和Block 11,表示数据在这两个块中存着。

你肯定会意识到:Block数组只有15个元素,每个Block是4K, 难道一个文件最大只能是 15 * 4K = 60 K ?

这是绝对不行的!

最简单的办法就是:把这个Block数组长度给扩大!

比如我们想让文件系统最大支持100G的文件,Block数组需要这么长:

(10010241024)/4 = 26214400

Block数组中每一项是4个字节,那就需要(26214400*4)/1024/1024 = 100M

为了支持100G的文件,我们的Block数组本身就得100M !

并且对每个文件都是如此 !即使这个文件只有1K!这将是巨大浪费!

肯定不能这么干,解决方案就是间接索引 ,按照约定,把这 15 个槽位分作 4 个不同类别来用:

  1. 前 12 个槽位(也就是 0 - 11 )我们成为直接索引 ;

  2. 第 13 个位置,我们称为 1 级索引 ;

  3. 第 14 个位置,我们称为 2 级索引 ;

  4. 第 15 个位置,我们称为 3 级索引 ;

d0c2dfd51fd2c3c2d399653a492acb2b.png

直接索引 :能存 12 个 block 编号,每个 block 4K,就是 48K,也就是说,48K 以内的文件,前 12 个槽位存储编号就能完全 hold 住。

一级索引 :

也就是说这里存储的编号指向的 block 里面存储的也是 block 编号,里面的编号指向用户数据。一个 block  4K,每个元素 4 字节,也就是有 1024 个编号位置可以存储。

所以,一级索引能寻址 4M(1024 * 4K)空间 。

bdeacade22aecd017790c273d4f07fdd.png

二级索引 :

二级索引是在一级索引的基础上多了一级而已,换算下来,有了 4M 的空间用来存储用户数据的编号。所以二级索引能寻址 4G (4M/4 * 4K) 的空间。

6f50f06ea5e14bacf163eec2209cf7d1.png

三级索引 :

三级索引是在二级索引的基础上又多了一级,也就是说,有了 4G 的空间来存储用户数据的 block 编号。所以二级索引能寻址 4T (4G/4 * 4K) 的空间。

313694ff32e4fd3f0b1bb276bdcaae85.png

所以,在这种文件系统(如ext2)上,通过这种间接块索引的方式,最大能支撑的文件大小 = 48K + 4M + 4G + 4T ,约等于 4 T。

这种多级索引寻址性能表现怎么样?

在不超过 12 个数据块的小文件的寻址是最快的,访问文件中的任意数据理论只需要两次读盘,一次读 inode,一次读数据块。

访问大文件中的数据则需要最多五次读盘操作:inode、一级间接寻址块、二级间接寻址块、三级间接寻址块、数据块。

为什么cp那么快?

接下来我们要写入一个奇怪的文件,这个文件很大,但是真正的数据只有8K:

在[0,4K]这位置有4K的数据

在[1T , 1T+4K] 处也有4K数据

中间没有数据,这样的文件该如何写入硬盘?

  1. 创建一个文件,这个时候分配一个 inode;

  2. 在 [ 0,4K ] 的位置写入 4K 数据,这个时候只需要 一个 block,把这个编号写到 block[0] 这个位置保存起来;

  3. 在 [ 1T,1T+4K ] 的位置写入 4K 数据,这个时候需要分配一个 block,因为这个位置已经落到三级索引才能表现的空间了,所以需要还需要分配出 3 个索引块;

  4. 写入完成,close 文件;

实际存储如图 :

5b70b6397ec4f74ed9495c0d2fa63949.png

这个时候,我们的文件看起来是超大文件,size 等于 1T+4K ,但里面实际的数据只有 8 K ,位置分别是  [ 0,4K ] ,[ 1T,1T+4K ]。

由于没写数据的地方不用分配物理block块,所以实际占用的物理空间只有8K。

重点:文件 size 只是 inode 里面的一个属性,实际物理空间占用则是要看用户数据放了多少个 block ,没写数据的地方不用分配物理block块。

这样的文件其实就是稀疏文件, 它的逻辑大小和实际物理空间是不相等的。

所以当我们用cp命令去复制一个这样的文件时,那肯定迅速就完成了。

总结

好,我们再深入思考下,文件系统为什么能做到这一点?

  1. 首先,最关键的是把磁盘空间切成离散的、定长的 block 来管理;

  2. 然后,通过 inode 能查找到所有离散的数据(保存了所有的索引);

  3. 最后,实现索引块和数据块空间的后分配;

这三点是层层递进的。

推荐下自己做的 Spring Cloud 的实战项目:

https://github.com/YunaiV/onemall

后记

我把这点小知识给小伙伴讲了一小时,看到他感动欲哭的表情,我觉得他学fei了,非常满意。

是我想太多了吗?中午吃饭都没叫我。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

e8e541609684fa0c7b0aff11c4cc8d44.png

已在知识星球更新源码解析如下:

ba25cd3fa2c09a83e75b2fe40954e5a3.png

38cc1dd1bb012cf94d4dcccef55dae68.png

d37d1fae5b1123885dec4b63d7bf87cc.png

f5f3ef6a973469ad549efa6451a84bf6.png

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
【YOLO26实战全攻略】10——YOLO26+SAM3实战:从检测到像素级分割的全流程指南(含PCB缺陷检测案例) 本文聚焦YOLO26与SAM3的融合应用,系统讲解“检测+分割”的三种核心模式:YOLO26原生分割(轻量高效)、YOLO26检测+SAM3精细分割(精度极致)、SAM3自动标注+YOLO26蒸馏(低成本冷启动)。从环境搭建、数据集准备、模型训练、性能优化到边缘部署,提供 step-by-step 实操教程,配套完整可运行代码与执行结果。结合虚拟PCB缺陷检测案例,展示像素级缺陷识别与几何参数测量的工业级应用流程。本文兼顾新手入门与进阶提升,注重实用价值,读者可直接参考搭建自己的分割系统。 阅读详情

相关推荐

【Android14 ShellTransitions】Transition就绪:双Transaction与SurfaceControl显示时机剖析

本文深入剖析了Android14 ShellTransitions框架中Transition就绪阶段的核心机制。重点解释了为何需要“双Transaction”来精确控制SurfaceControl的显示与隐藏时机,以确保Activity切换动画的流畅性。通过分析onTransactionReady流程、窗口绘制状态机及动画目标提升策略,揭示了系统如何协调WMCore与WMShell,实现从状态收集到动画播放的无缝衔接。

ooo22的博客 530

0.2秒居然复制了100G文件? 我给同事讲了一个小时,他感动得快哭了...

cp 引发的思考今天同事用 cp 命令,把他给惊到了!背景是这样的:他用 cp 拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!用ls看一把文件,显示文件确实是 100 G...

码农翻身 1009

Anaconda下安装LabelImg

Anaconda下安装LabelImg

LYH8543的博客 758

100g文件复制 java_JAVA大文件(100G以上)的上传下载实现技术

我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用。首先我们需要了解的是上传文件三要素:1.表单提交方式:post (get方式提交有大小限制,post没有)2.表单的enctype属性:必须设置为multipart/form-data.3.表单必须有文件上传项:file,且文件项需要给定name值上传文件夹需要增加一个属性webkitdi...

weixin_28720767的博客 564

LLM之RAG实战(五十四)| 复杂文档处理RAG框架:Ragflow

RAGFlow 是一种结合了检索增强(Retrieval-Augmented Generation,RAG)与流程控制(Flow)的人工智能技术架构。它通过检索外部知识库中的信息,结合自然语言生成技术,为用户提供更准确、更丰富的回答。同时,它还引入了流程控制机制,能够根据任务需求动态调整信息检索和生成的流程,从而更好地完成复杂的任务。RAGFlow 的核心优势在于将检索和生成相结合,打破了传统生成模型仅依赖内部参数进行文本生成的局限。

wshzd的博客 1067

【DaVinci Configurator专题】-6-将UDS&OBD诊断数据库文件CDD和PDX导入到CFG

CDD和ODX是两种诊断数据库文件。机器可读的诊断数据库其实就是将传统的Excel调查表等信息编辑成CDD或ODX文件。CDD是Vector私有的一种诊断数据库格式;ODX是国际标准的诊断数据交互格式。CANdelaStudio编辑CDD文件,以及也可以导出ODX文件;ODX Studio用于编辑ODX文件,诊断数据库的编辑其实就是诊断需求的定义。 下面以PDX为例,将其导入到DaVinci Configurator。 目录 1 打开DaVinci Configurator,导入PDX文件 2 解.

「汽车电子助手」的博客 6756

100g文件复制 java_java 支持 超大上G , 多附件上传

javaweb上传文件上传文件的jsp中的部分上传文件同样可以使用form表单向后端发请求,也可以使用 ajax向后端发请求1.通过form表单向后端发送请求Save改进后的代码不需要form标签,直接由控件来实现。开发人员只需要关注业务逻辑即可。JS中已经帮我们封闭好了this.post_file =function(){$.each(this.ui.btn,function(i, n) { n...

weixin_30075185的博客 329

PreScan快速入门到精通第十一讲之PreScan道路标记,建筑物、抽象物体及交通标识

道路标记目的:路标是为了完善智能驾驶实验场景。用途:道路标记是附加在道路段上的。标记的大小{小、大}、颜色,以及相对于路段的位置和方向可以在属性编辑器中设置。也可以指定褪色和孔洞,类似于路段自动添加标记的配置。在GUI中的位置:作为一个预定义的库元素格式:NAMBOX: 汇编表中不知道。PreScan包含三个不同国家的标记:荷兰、日本和美国。可以通过在国家首选项中切换国家来隐藏或显示。附件道路标线附在路段上,并相对于路段原点定位。默认情况下,道路标记被固定在路段上,用小锚点表示。11.2 建筑物目...

小明师兄的博客 1807

一个100G文件 0.2 秒复制完?背后到底是谁的功劳?

今天给大家分享一篇关于100G文件0.2秒复制完的背后故事!文章来源:本文转自公众号奇伢云存储cp 引发的思考今天同事用cp命令,把他给惊到了!背景是这样的:他用cp拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!用ls看一把文件,显示文件确实是 100 G。sh-4.4#ls-lh -rw-r--r--1rootroot100GMar612:22te...

程序IT圈 312

C/C++李峋同款跳动的爱心代码(完整代码)

C++语言实现出李峋同款跳动的爱心的完整代码。

AIGC 10万+

免杀思路总结

免杀思路总结 1.免杀技术简介 1.免杀的重要性 2.免杀的难度 3.杀毒软件的排行 国外 国内 1 、Bitdefender 1、360 2 、Norton 360 2、智量安全(没测过,据说很厉害) 3 、Kaspersky 3、火绒安全 4 、Webroot 4、金山独霸 5 、Trend Micro 5

LiBai'S BLOG 1万+

如何做到0.2秒复制100G文件?

cp 引发的思考今天同事用 cp 命令,把他给惊到了!背景是这样的:他用 cp 拷贝了一个 100 G 的文件,竟然一秒不到就拷贝完成了!用 ls 看一把文件,显示文件确实是 100 G。sh-4.4# ls -lh  -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt但是 copy 起来为什么会这么快呢?sh-4.4# time cp ./test.txt ./test.txt.cp  real 0m0

知识分享官 197

uniapp - 实现PDA扫码枪RFID批量扫描读取示例代码,uni-app APP识别RFID(射频识别)结合硬件设备进行扫描,uniApp调用RFID读写通用方案适配各种设备+完整实例源码教程!

uni-app PDA 读取RFID,基于uniapp开发PDA扫码枪APP:实现RFID批量扫描读取功能,UniApp中的RFID实现,手持机 RFID插件(uni-app集成手持设备rfid插件),uniapp自动识别RFID,uni-app调RFID模块,uni-app RFID识别插件,uniapp读取rfid,uniapp手持设备扫描rfid,uniapp超高频rfid识别,rfid标签识别,uniapp调用RFID读写,uniapp rfid扫码枪,uniapp中如何使用rfid插件,打包上线后

🏆 前端领域优质创作者 1万+

0.2 秒居然复制了 100G 文件?怎么做到的?

来源| OSC开源社区(ID:oschina2013)cp 引发的思考今天同事用cp命令,把他给惊到了!背景是这样的:他用cp拷贝了一个 100 G的文件,竟然一秒不到就拷贝完...

架构文摘 191

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?

谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系统CP命令如何做到0.2秒复制100G大文件?谈谈Linux系

猫头虎技术团队:授渔优于赠鱼,兴趣引领智慧,探索之乐尤显珍贵。商务合作+:Libin9iOak ,万粉变现+:优快云WF,猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务!全网搜:猫头虎技术团队,点击文章底部名片或直接私信我一切皆可谈,快找虎哥! 5777

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

惊到了!0.2 秒居然复制了 100G 文件?

点击关注公众号,回复“1024”获取2TB学习资源!cp 引发的思考今天同事用 cp 命令,把他给惊到了!背景是这样的:他用 cp 拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了...

民工哥的博客 756

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 国产最强开源分库分表,没有之一,不接受任何反驳!
下一篇: MyBatis-plus 从入门到入土
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值