引入稀疏文件(sparse file)的目的是有效的利用文件系统空间(磁盘空间)。当文件没有实际数据时,首先将元数据/metadata(代表了空blocks)写入磁盘,而不是用空数据(0)填充磁盘。而当写入数据的时候,整个block被占用。
读取稀疏文件时,文件系统透明地将metadata转化为实际的空blocks,其中填充0.
总之,sparse file是当真正需要的时候才分配空间。这样即提高了磁盘利用率,又能在磁盘空间不足的情况下创建大文件(有时候这也是问题),而且降低了创建文件的时间开销(不需要分配完整的空间、不需要填充数据——初始分配一般填充0)。
当然sparse file也有问题
- 文件系统的空间报告误导人(看上去空间很足、可以创建很多文件)
- 真正写入数据的时候,可能会发现磁盘空间不足
- 碎片化
- 复制程序可能不支持sparse file,而复制文件的逻辑内容
- 备份软件/应用不一定支持sparse file
Linux下的相关命令
使用dd创建一个sparse file
icode0410@ubuntu:~/tmp$ dd of=sparse-file bs=1k seek=5120 count=1
0+1 records in
0+1 records out
1 byte (1 B) copied, 1.169 s, 0.0 kB/s
icode0410@ubuntu:~/tmp$ ls -lks
total 4
4 -rw-rw-r-- 1 icode0410 icode0410 5242881 Sep 23 18:57 sparse-file
icode0410@ubuntu:~/tmp$ du --block-size=1k sparse-file
4 sparse-file
创建的文件前5M空间是一个hole,1字节被写入,而占用的空间为4K(一个block空间为4K)。
使用truncate命令可以调整文件大小,也会产生hole
icode0410@ubuntu:~/tmp$ truncate -s 6M sparse-file
icode0410@ubuntu:~/tmp$ ls -lks sparse-file
4 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:09 sparse-file
通常,cp命令能够检测到sparse file,复制产生的新文件也是sparse file
icode0410@ubuntu:~/tmp$ cp sparse-file sparse-file2
icode0410@ubuntu:~/tmp$ ls -lks sparse-file2
4 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:11 sparse-file2
cp命令的--sparse=WHEN(auto|awayls|never)选项可以控制复制sparse file的行为
icode0410@ubuntu:~/tmp$ cp --sparse=never sparse-file sparse-file3
icode0410@ubuntu:~/tmp$ ls -lks sparse-file3
6144 -rw-rw-r-- 1 icode0410 icode0410 6291456 Sep 23 19:14 sparse-file3
参考资料
2544



被折叠的 条评论
为什么被折叠?



