44、Unix文件系统深度解析

Unix文件系统深度解析

1. Unix分层文件系统概述

Unix系统中，大量文件的管理面临着文件名冲突和管理困难的问题。为了解决这些问题，Unix允许将文件分组到目录中，每个目录形成独立的命名空间。同时，Unix文件系统呈现出树形结构，根目录用“/”表示，“/”不仅是根目录的名称，还作为目录嵌套的分隔符。

在Unix系统中，我们可以通过以下命令查看存储设备的详细信息：

$ cat /proc/scsi/scsi

示例输出如下：

Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
  Vendor: IBM      Model: DMVS18V          Rev: 0077
  Type:   Direct-Access                    ANSI SCSI revision: 03
Host: scsi1 Channel: 00 Id: 01 Lun: 00
  Vendor: TOSHIBA  Model: CD-ROM XM-6401TA Rev: 1009
  Type:   CD-ROM                           ANSI SCSI revision: 02

2. 文件系统结构

• 目录嵌套与路径名 ：Unix目录可以几乎任意深度地嵌套，形成树形结构。到达文件的完整嵌套目录列表称为路径名，它是否包含文件名取决于具体上下文。
• 路径名长度限制 ：POSIX定义了常量 PATH_MAX 来表示包含终止空字符的完整路径名长度，要求最小值为256，而X/Open可移植性指南要求为1024。可以使用 getconf 命令来查看系统的路径名长度限制，例如：

$ getconf PATH_MAX .

不同Unix系统的路径名长度限制可能不同，如有的系统报告为1023、1024或4095。ISO C标准将此值称为 FILENAME_MAX ，并要求在标准头文件 stdio.h 中定义。高级语言程序员建议使用 pathconf() 或 fpathconf() 库调用获取这些限制。
- 顶级目录 ：Unix系统包含一些顶级目录，如 /bin 通常存放可执行程序，很少包含子目录； /usr 总是包含其他目录，其中 /usr/bin 与 /bin 不同，但某些系统可以使它们看起来相同。
- 特殊目录 ：所有Unix目录，即使为空，也至少包含两个特殊目录：“.”表示当前目录，“..”表示父目录。根目录的父目录是其本身，因此 / 、 /.. 、 /../.. 等是等价的。

3. 分层文件系统

Unix通过允许一个文件系统逻辑层叠在另一个文件系统的现有目录上来支持多个文件系统，这种操作称为挂载，使用 mount 和 umount 命令分别进行挂载和卸载。

当一个文件系统挂载到一个目录上时，该目录的先前内容将变得不可见和不可访问，卸载后会再次显示。文件系统挂载给人一种单一文件系统树可以无限增长的错觉，通过添加更多或更大的存储设备即可实现。

系统管理员通常将挂载所需的信息存储在特殊文件 /etc/fstab 或 /etc/vfstab 中。许多Unix系统现在允许普通用户对某些设备进行挂载和卸载操作，例如在GNU/Linux系统中：

$ grep owner /etc/fstab | sort

输出示例：

/dev/cdrom    /mnt/cdrom      iso9660 noauto,owner,kudzu,ro 0 
/dev/fd0      /mnt/floppy     auto    noauto,owner,kudzu 0 
/dev/sdb4     /mnt/zip100.0   auto    noauto,owner,kudzu 0 

用户可以按以下步骤挂载和卸载CD-ROM：

mount /mnt/cdrom
cd /mnt/cdrom
ls
cd
umount /mnt/cdrom

不带参数的 mount 命令可以查看当前挂载的所有文件系统，示例如下：

$ mount | sort

输出示例：

/dev/sda2 on /boot type ext3 (rw)
/dev/sda3 on /export type ext3 (rw)
/dev/sda5 on / type ext3 (rw)
/dev/sda6 on /ww type ext3 (rw)
/dev/sda8 on /tmp type ext3 (rw)
/dev/sda9 on /var type ext3 (rw)
none on /dev/pts type devpts (rw,gid=5,mode=620)
none on /dev/shm type tmpfs (rw)
none on /nue/proc type proc (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
none on /proc type proc (rw)

4. 文件系统实现概述

当创建文件系统时，会在磁盘上创建一个固定大小的表来存储文件信息，每个文件对应表中的一个条目，这个条目是一个称为inode（索引节点）的文件系统数据结构。inode的内容取决于具体的文件系统设计，程序员可以通过 stat() 和 fstat() 系统调用屏蔽这些差异。

由于inode结构和存储设备的底层细节与系统相关，通常不能将一个供应商的Unix文件系统磁盘挂载到另一个供应商的系统上，但通过网络文件系统（NFS）可以在不同供应商的计算机之间共享Unix文件系统。

inode表有固定大小，因此即使存储设备有大量空闲空间，文件系统也可能因inode耗尽而填满。在Unix中，文件名存储在目录中，与inode编号一起，而不是存储在inode中。这种设计有两个好处：
- 方便用户列出目录内容，因为可以从单个磁盘块中检索多个文件名。
- 允许一个物理文件有多个文件名，即链接，Unix中分为硬链接和软链接（符号链接）。

以下是文件系统结构的mermaid流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([根目录 /]):::startend --> B(/bin):::process
    A --> C(/dev):::process
    A --> D(/etc):::process
    A --> E(/lib):::process
    A --> F(/local):::process
    A --> G(/tmp):::process
    A --> H(/usr):::process
    H --> I(/usr/bin):::process

5. 设备作为Unix文件

Unix的一个重要进步是将文件概念扩展到附加设备。所有Unix系统都有一个顶级目录 /dev ，下面包含一些奇怪命名的文件，如 /dev/audio 、 /dev/sda1 和 /dev/tty03 。这些设备文件由特殊的软件模块（设备驱动程序）处理，它们提供了类似于普通文件的打开 - 处理 - 关闭访问模型。

/dev 树中的条目通常由特殊工具 mknod 创建，该工具通常隐藏在shell脚本 MAKEDEV 中，并且通常需要系统管理员权限才能运行。大多数Unix用户很少引用 /dev 树中的成员，除了 /dev/null 和 /dev/tty 。在20世纪90年代，一些Unix版本引入了随机伪设备 /dev/urandom ，用于许多加密和安全应用。

6. Unix文件大小限制

Unix文件的大小通常受两个硬限制：inode条目中分配用于存储文件大小的位数，以及文件系统本身的大小。此外，一些Unix内核有管理员可设置的文件大小限制。大多数Unix文件系统使用的数据结构对文件的数据块列表有大约1680万个块的限制，块大小通常在1024到65536字节之间，在文件系统创建时设置。

目前大多数Unix文件系统使用32位整数来存储文件大小，最大可能的文件大小为$2^{31}-1$字节，约2GB。随着磁盘容量的增加，Unix供应商逐渐迁移到具有64位大小字段的文件系统，可能支持约80亿GB。

7. 无名称文件

Unix操作系统的一个特点是，为输入或输出打开的文件的名称不会保留在内核数据结构中，因此命令行上重定向的标准输入、标准输出或标准错误的文件名称对被调用的进程是未知的。为了部分弥补这个缺陷，一些现代Unix系统提供了 /dev/stdin 、 /dev/stdout 和 /dev/stderr ，或者 /dev/fd/0 、 /dev/fd/1 和 /dev/fd/2 。可以通过以下命令测试系统是否支持：

$ echo Hello, world > /dev/stdout

如果系统支持，将输出 Hello, world ；如果不支持，可能会显示权限被拒绝的错误。许多Unix程序采用了一个约定，即连字符作为文件名时表示标准输入或标准输出，但这只是一个约定，并非所有Unix软件都实现了该约定。

8. 链接

• 硬链接 ：由于目录条目只包含inode编号，只能引用同一物理文件系统内的文件。硬链接是指不同的目录条目引用相同的inode，从而实现一个物理文件有多个文件名。
• 软链接（符号链接） ：为了在不同文件系统之间创建链接，Unix引入了软链接。软链接是一个目录条目，指向另一个目录条目，通过正常的Unix路径名指定，因此可以指向文件系统中的任何位置，甚至跨挂载点。

符号链接可能会导致文件系统中出现无限循环，因此通常只跟随符号链接链的几步（通常为八步）。例如，以下是一个两元素循环的示例：

$ ls -l

输出：

total 0
lrwxrwxrwx    1 jones    devel           3 2002-09-26 08:44 one -> two
lrwxrwxrwx    1 jones    devel           3 2002-09-26 08:44 two -> one

尝试查看文件信息和内容时：

$ file one
$ file two
$ cat one

会出现相应的错误提示，如 one: broken symbolic link to two 、 two: broken symbolic link to one 和 cat: one: Too many levels of symbolic links 。

由于技术原因（如可能出现循环），目录通常不能有硬链接，但可以有符号链接，例外情况是“.”和“..”目录条目，它们在目录创建时自动创建。

9. 总结

Unix文件系统具有独特的设计和特点，通过分层结构、目录和文件的组织、链接机制以及设备文件的集成，提供了强大而灵活的文件管理功能。了解这些知识对于Unix系统的使用和管理至关重要。同时，随着技术的发展，Unix文件系统也在不断演进，以适应不断增长的存储需求和新的应用场景。

Unix文件系统深度解析

10. 文件名与目录操作

在早期的Unix系统中，由于计算机资源有限，目录中为每个文件分配的空间较小。例如，20世纪70年代的小型计算机上的早期Unix系统，每个文件在目录中仅分配16字节，其中2字节用于存储inode编号，限制了文件数量为$2^{16}=65536$个，14字节用于存储文件名，这仅比其他一些系统的8 + 3限制略好。

现代Unix文件系统允许更长的文件名长度，但通常仍有最大长度限制，如前面提到的可以使用 getconf 命令查看。

目录的所有者可以读取目录，但不能直接写入。早期的一些Unix软件会直接打开和读取目录来查找文件名。20世纪80年代引入更复杂的目录设计后，创建了 opendir() 、 readdir() 和 closedir() 库调用，将目录结构对程序员隐藏起来，这些调用现在已成为POSIX标准的一部分。为了强制使用库访问，一些当前的Unix实现禁止对目录文件进行读取操作。

11. 文件重命名与移动

Unix文件系统设计的一个有用结果是，在同一物理Unix文件系统内重命名文件或目录，或者移动文件，速度很快，因为只需要更改或移动名称，而不需要移动文件内容。例如，将文件 oldname 重命名为 newname ，可以使用以下命令：

mv oldname newname

如果要将文件从一个目录移动到同一文件系统内的另一个目录，同样使用 mv 命令，如将 /home/user/file 移动到 /home/user/newdir ：

mv /home/user/file /home/user/newdir

然而，当在不同文件系统之间移动文件时，需要读取和写入文件的所有块，这会比较耗时。

12. 文件删除机制

在Unix中，当支持文件别名或链接时，删除文件的处理方式很特别。Unix的inode条目中包含一个指向文件内容的链接计数。当删除文件时，链接计数会减1，只有当链接计数达到0时，文件块才会被重新分配到空闲空间列表中。

例如，创建一个文件 testfile ，并为其创建一个硬链接 linkfile ：

touch testfile
ln testfile linkfile

此时， testfile 和 linkfile 都指向同一个inode。当删除 testfile 时：

rm testfile

由于还有 linkfile 指向该inode，文件内容不会被立即删除，只有当 linkfile 也被删除后，inode的链接计数变为0，文件内容才会被释放。

13. 符号链接的使用与风险

符号链接为Unix文件系统提供了很大的灵活性，但也带来了一些风险，如可能导致无限循环。为了防止无限循环，符号链接链通常只跟随几步（通常为八步）。

以下是创建和使用符号链接的示例：

# 创建一个符号链接
ln -s targetfile symlink
# 查看符号链接信息
ls -l symlink

在使用符号链接时，需要注意避免创建循环链接。如果不小心创建了循环链接，如前面提到的两元素循环 one -> two 和 two -> one ，在进行文件操作时会出现错误。

14. 总结与展望

Unix文件系统以其独特的设计和丰富的功能，在计算机领域发挥了重要作用。从分层结构的文件组织，到inode、链接等机制的实现，都体现了其高效和灵活的特点。

然而，随着技术的不断发展，Unix文件系统也面临着新的挑战和机遇。例如，随着数据量的爆炸式增长，对文件系统的存储容量和性能提出了更高的要求。未来，Unix文件系统可能会继续演进，以适应新的存储技术和应用场景，如分布式存储、大数据处理等。

以下是一个关于Unix文件系统操作的总结表格：
| 操作 | 命令示例 | 说明 |
| ---- | ---- | ---- |
| 查看存储设备信息 | cat /proc/scsi/scsi | 显示磁盘设备的详细信息 |
| 查看路径名长度限制 | getconf PATH_MAX . | 获取当前文件系统的最大路径名长度 |
| 挂载文件系统 | mount /mnt/cdrom | 将设备挂载到指定目录 |
| 卸载文件系统 | umount /mnt/cdrom | 释放挂载的设备 |
| 查看挂载的文件系统 | mount \| sort | 显示当前所有挂载的文件系统 |
| 创建硬链接 | ln sourcefile linkfile | 在同一文件系统内创建硬链接 |
| 创建符号链接 | ln -s targetfile symlink | 创建符号链接，可跨文件系统 |
| 重命名或移动文件 | mv oldname newname | 同一文件系统内操作速度快 |
| 删除文件 | rm filename | 减少inode链接计数，计数为0时释放文件块 |

以下是一个关于Unix文件系统操作流程的mermaid流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B{选择操作类型}:::decision
    B -->|查看信息| C(查看存储设备信息):::process
    B -->|挂载/卸载| D(挂载文件系统):::process
    B -->|文件操作| E(重命名/移动文件):::process
    B -->|链接操作| F(创建硬链接):::process
    B -->|链接操作| G(创建符号链接):::process
    B -->|删除操作| H(删除文件):::process
    C --> I([结束]):::startend
    D --> I
    E --> I
    F --> I
    G --> I
    H --> I

总之，深入理解Unix文件系统的原理和操作，对于系统管理员和开发者来说都是非常有价值的。通过合理运用文件系统的各种功能，可以提高文件管理的效率，更好地应对各种复杂的应用场景。