稀疏文件Sparse File

【底层机制】稀疏文件--是什么、为什么、好在哪、实现机制 核心概念:稀疏文件是一种计算机文件存储技术,其中文件中的空数据块(通常是由一串零字节组成,称为“空洞”)不会实际分配物理磁盘空间。文件系统只是在元数据中记录这些空洞的位置和大小 阅读详情

引入稀疏文件(sparse file)的目的是有效的利用文件系统空间(磁盘空间)。当文件没有实际数据时,首先将元数据/metadata(代表了空blocks)写入磁盘,而不是用空数据(0)填充磁盘。而当写入数据的时候,整个block被占用。

   

读取稀疏文件时,文件系统透明地将metadata转化为实际的空blocks,其中填充0.

   

总之,sparse file是当真正需要的时候才分配空间。这样即提高了磁盘利用率,又能在磁盘空间不足的情况下创建大文件(有时候这也是问题),而且降低了创建文件的时间开销(不需要分配完整的空间、不需要填充数据——初始分配一般填充0)。

   

当然sparse file也有问题

  • 文件系统的空间报告误导人(看上去空间很足、可以创建很多文件)
  • 真正写入数据的时候,可能会发现磁盘空间不足
  • 碎片化
  • 复制程序可能不支持sparse file,而复制文件的逻辑内容
  • 备份软件/应用不一定支持sparse file

   

   

   

Linux下的相关命令

   

使用dd创建一个sparse file

icode0410@ubuntu:~/tmp$ dd of=sparse-file bs=1k seek=5120 count=1

   

0+1 records in

0+1 records out

1 byte (1 B) copied, 1.169 s, 0.0 kB/s

icode0410@ubuntu:~/tmp$ ls -lks

total 4

4 -rw-rw-r-- 1 icode0410 icode0410 5242881 Sep 23 18:57 sparse-file

icode0410@ubuntu:~/tmp$ du --block-size=1k sparse-file

4        sparse-file

   

创建的文件前5M空间是一个hole,1字节被写入,而占用的空间为4K(一个block空间为4K)。

   

使用truncate命令可以调整文件大小,也会产生hole

icode0410@ubuntu:~/tmp$ truncate -s 6M sparse-file

icode0410@ubuntu:~/tmp$ ls -lks sparse-file

4 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:09 sparse-file

   

通常,cp命令能够检测到sparse file,复制产生的新文件也是sparse file

icode0410@ubuntu:~/tmp$ cp sparse-file sparse-file2

icode0410@ubuntu:~/tmp$ ls -lks sparse-file2

4 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:11 sparse-file2

   

cp命令的--sparse=WHEN(auto|awayls|never)选项可以控制复制sparse file的行为

icode0410@ubuntu:~/tmp$ cp --sparse=never sparse-file sparse-file3

icode0410@ubuntu:~/tmp$ ls -lks sparse-file3

6144 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:14 sparse-file3

   

参考资料

http://en.wikipedia.org/wiki/Sparse_file

稀疏文件(Sparse file)是什么? 稀疏文件是一种特殊的文件类型,其特点是文件中的空白或全零数据块不占用实际磁盘空间。它通过文件系统元数据记录"空洞"区域,实现"逻辑大小大、物理占用小"的效果。典型应用包括虚拟机磁盘镜像、数据库快照等场景,能显著节省存储空间并提升性能。但需注意:1) 文件大小显示可能误导;2) 复制/备份时需要特殊处理以保持稀疏属性;3) 存在磁盘空间耗尽风险。稀疏文件通过延迟分配物理空间实现高效存储,是虚拟化等领域的重要优化技术。 阅读详情

相关推荐

802.1AS-2011_Gptp协议栈

GPTP(广义时钟同步协议,或IEEE 802.1AS)的基本功能是确保局域网中所有的时钟都同步,并提供时间信息。这种协议用于在局域网中进行同步和时间对齐,其目的是确保网络中各设备的时间一致性。

weixin_49041703的博客 2544

稀疏文件(稀疏文档:sparse file)介绍(虚拟化技术、虚拟硬盘)(全零块)

在操作系统中,文件系统通常以块为单位来分配存储空间。然而,对于一些包含大量未使用空间的文件,例如数据库或虚拟磁盘镜像,这种方式可能会浪费大量的磁盘空间。稀疏文件就是解决这个问题的一种方法。在稀疏文件中,只有那些包含实际数据的块才会被分配存储空间。如果文件的某个部分仅包含零(即未使用的空间),则该部分不会占用任何磁盘空间,但在逻辑上仍然存在。

Dontla的博客 3614

别再为跨页读写发愁了!STM32F407模拟I2C驱动24C256/512的避坑指南

本文详细解析了STM32F407模拟I2C驱动24C256/512的跨页写入问题,揭示了24C系列存储器'写满一页不会自动翻页'的关键机制,并提供了经过验证的分页写入算法和优化方案。通过GPIO时序优化、地址计算和错误处理等技巧,帮助开发者解决数据错乱、覆盖等常见问题,实现稳定可靠的EEPROM读写操作。

weixin_42631411的博客 379

稀疏文件(Sparse File)探秘

稀疏文件主要由0构成:

haierccc的博客 3095

RV1126 MIPI CSI-2驱动RGB888图像采集的V4L2实战解析

本文详细解析了在RV1126平台上通过MIPI CSI-2接口采集RGB888格式图像的完整V4L2实战流程。核心内容包括设备树(DTS)配置、内核驱动适配、Media Controller链路调试,以及使用v4l2-ctl工具进行图像抓取与验证的方法,旨在帮助开发者打通从硬件连接到稳定采集RGB888图像数据的关键环节。

weixin_29161719的博客 167

NVMe-MI 协议解析:带外管理框架与实现原理

本文深入解析了NVMe-MI协议,这是一种用于NVMe固态硬盘的标准化带外管理接口。文章详细阐述了其独立于操作系统的管理框架,通过MCTP协议栈实现,支持SMBus/I2C、PCIe VDM和I3C等物理层,从而在系统故障时仍能可靠地进行健康监控、固件升级等关键运维操作,是现代数据中心存储管理的核心基础设施。

lll78的博客 964

稀疏文件(Sparse File)

稀疏文件,这是UNIX类和NTFS等文件系统的一个特性。 开始时,一个稀疏文件不包含用户数据,也没有分配到用来存储用户数据的磁盘空间。当数据被写入稀疏文件时,NTFS逐渐地为其分配磁盘空间。一个稀疏文件有可能增长得很大。 稀疏文件以64KB(不同文件系统不同)为单位增量增长,因此磁盘上稀疏文件的大小总是64KB的倍数。 稀疏文件就是在文件中留有很多空余空间,留备将来插入数据使用。如果这些空余

tiandyoin的专栏 1万+

Python实现课程时间表

用Python实现课程表功能

life is like a play 2042

linux 稀疏文件(Sparse File)

稀疏文件,这是UNIX类和NTFS等文件系统的一个特性。 开始时,一个稀疏文件不包含用户数据,也没有分配到用来存储用户数据的磁盘空间。 当数据被写入稀疏文件时,NTFS逐渐地为其分配磁盘空间。一个稀疏文件有可能增长得很大。 稀疏文件以64KB(不同文件系统不同)为单位增量增长,因此磁盘上稀疏文件的大小总是64KB的倍数。 稀疏文件就是在文件中留有很多空余空间,留备将来插入数据使用。如果这些空余空间被ASCII码的NULL字符占据,并且这些空间相当大,那么,这个文件就被称为稀疏文件,而且,并不分配相应的磁盘块

larance的挨踢生活 2287

STM32MP157+AD7606BSTZ四通道IEPE传感器采集方案实战(附完整电路图)

本文详细介绍了基于STM32MP157和AD7606BSTZ的四通道IEPE传感器采集方案,涵盖硬件电路设计、软件驱动开发及系统性能优化。通过精确的恒流源设计和同步采样技术,实现高精度振动信号采集,适用于工业振动监测等应用场景。

weixin_42713608的博客 712

基于Simulink和Control System Toolbox的线控转向(Steer-by-Wire)系统设计

通过上述步骤,我们成功设计并实现了基于 Simulink 和 Control System Toolbox 的线控转向(Steer-by-Wire)系统。该系统能够接收来自方向盘的角度指令,经过控制器处理后,驱动转向执行器(如电动机),实现对车辆前轮转向角度的精确控制。通过虚拟场景仿真、硬件在环测试和实车测试,验证了系统的响应速度、控制精度、车辆稳定性和实时性能,并通过参数优化进一步提升了系统的性能。

MHD0815的博客 552

All about sparse file in WINDOWS(关于WINDOWS稀疏文件)

All about sparse file in WINDOWS(关于WINDOWS稀疏文件)

冰峰 的专栏 1012

大模型安全-生成检测-事实核查-攻击-防御-思考-记忆-融合-语音相关研究 2025年版

本文整理了关于大模型安全领域的综合性资源,包括7篇综述论文、9个安全数据集以及5篇强化学习相关的安全研究论文。主要涉及大模型的对抗攻击、隐私保护、安全评估等方向,涵盖TruthfulQA、ToxiGen等知名数据集和TrustLLM、HarmBench等关键研究。资源包括知乎博主分享、arXiv预印本和顶会论文,并附有详细的中文讲解链接,为研究者提供了系统性的安全研究参考。

CSPhD-winston的博客 3606

文件空洞(file hole)与稀疏文件(sparse file)

在linux上文件大小和占用空间是两个概念,文件大小表示文件数据的长度,空间占用表示数据占用的磁盘空间。文件大小 < 空间占用:通常磁盘空间是按照4K一块管理的,创建一个文件其内容只有256字节,文件大小实际显示只有256字节,但其磁盘占用空间为4K文件大小 > 空间占用:文件内部有空洞注:文件大小用ls命令查看,占用空间用du命令查看。

weixin_56711920的博客 1564

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

live messenger与稀疏文件—Sparse File Bit

今天进行磁盘整理,发现一个奇怪的文件SimilarityTable_1:下面是我的C盘整理后的结果卷   (C:)    卷的大小                                   = 15.62 GB    簇的大小                                   = 4 KB    已使用空间                           

shanyou的专栏 681

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

用windows自带的fsutil来创建1G稀疏文件(sparse file)

fsutils file createnew a.dat 1073741824 fsutil sparse setflag a.dat fsutil sparse setrange a.dat 01073741824 结果是1个外边显示1G、实际4K大小的文件,酷~ 如下图 转载于:https://www.cnblogs.com/webtiger/p/79...

weixin_30338497的博客 742

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

SQL Server ->> Sparse File(稀疏文件)

Sparse File(稀疏文件)不是SQL Server的特性。它属于Windows的NTFS文件系统的一个特性。如果某个大文件中的数据包含着大量“0数据”(这个应该从二进制上看),这样的文件就可以被称之为稀疏文件。如果从二维图上看这个文件你会发现文件就像很多很多洞一样,这就是“稀疏”的由来。这种文件造成的问题是空间浪费。比如说如果你现在用VMWare Workstatation创建了...

weixin_30549175的博客 307

如何远程拷贝稀疏文件(scp sparse file -- raw or qcow2)

如何远程拷贝稀疏文件? how to remote copy sparse file? 何谓稀疏文件 就是有空洞的文件,空洞并没有实际占用硬盘的物理空间。 Linux中常见的qcow2文件和raw文件,都是稀疏文件。 上图中的disk size < virtual size 的文件就是sparse file. how to query sparse file’s real size ? 最通用的方式是: qemu-img info 很多地方写着ls -ls [sparse file] 也能显示出 s

Nicholas的专栏 2826
上一篇: 有关多线程程序开发
下一篇: 数据仓储
iCode0410
博客等级 码龄14年 6粉丝 50原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值