Chapter 9 The
File System
(文件系统)二
----Linux Kernel 学习笔记十
9.2 The Virtual File System(虚拟文件系统 VFS)
图
9.4
显示了Linux核心的虚拟文件系统和它的真实的文件系统之间的关系。虚拟文件系统必须管理任何时间安装的所有的不同的文件系统。为此它管理描述整个文件系统(虚拟)和各个真实的、安装的文件系统的数据结构。
相当混乱的是,VFS也使用超级块和inode来描述系统的文件,和EXT2文件系统使用的超级块和inode的方式非常相似。象EXT2的inode,VFS
的inode描述系统中的文件和目录:虚拟文件系统的内容和拓扑结构。从现在开始,为了避免混淆,我会用 VFS
inode和 VFS 超级块以便同EXT2的inode和超级块区分开来。
参见 fs/*
当每一个文件系统初始化的时候,它自身向
VFS
登记。这发生在系统启动操作系统初始化自身的时候。真实的文件系统自身建立在内核中或者是作为可加载的模块。文件系统模块在系统需要的时候加载,所以,如果
VFAT 文件系统用核心模块的方式实现,那么它只有在一个 VFAT 文件系统安装的时候才加载。当一个块设备文件系统安装的时候,(包括
root 文件系统),VFS
必须读取它的超级块。每一个文件系统类型的超级块的读取例程必须找出这个文件系统的拓扑结构,并把这些信息映射到一个 VFS
超级块的数据结构上。 VFS 保存系统中安装的文件系统的列表和它们的 VFS 超级块列表。每一个 VFS
超级块包括了文件系统的信息和完成特定功能的例程的指针。例如,表示一个安装的EXT2文件系统的超级块包括一个EXT2相关的inode的读取例程的指针。这个EXT2
inode读取例程,象所有的和文件系统相关的inode读取例程一样,填充VFS inode的域。每一个VFS超级块包括文件系统中的一个
VFS inode的指针。对于root文件系统,这是表示“ /
”目录的inode。这种信息映射对于EXT2文件系统相当高效,但是对于其他文件系统相对效率较低。
当系统的进程访问目录和文件的时候,调用系统例程,游历系统中的
VFS inode。例如再一个目录中输入 ls 或者 cat 一个文件,让 VFS 查找代表这个文件系统的 VFS
inode。因为系统中的每一个文件和目录都用一个 VFS
inode代表,所以一些inode会被重复访问。这些inode保存在inodecache,这让对它们的访问更快。如果一个inode不在inodecache
中,那么必须调用一个和文件系统相关的例程来读取适当的inode。读取这个inode的动作让它被放到了inodecache,以后对这个inode的访问会让它保留在cache中。较少使用的
VFS inode会从这个高速缓存中删除。
参见 fs/inode.c
所有的Linux文件系统使用一个共同的Buffer
Cache来缓存底层的设备的数据缓冲区,这样可以加速对于存放文件系统的物理设备的访问,从而加快对文件系统的访问。这个Buffer
Cache独立于文件系统,集成在Linux核心分配、读和写数据缓冲区的机制中。让Linux文件系统独立于底层的介质和支撑的设备驱动程序有特殊的好处。所有的块结构的设备向Linux核心登记,并表现为一个统一的,以块为基础的,通常是异步的接口。甚至相对复杂的块设备比如
SCSI设备也是这样。当真实的文件系统从底层的物理磁盘读取数据的,引起块设备驱动程序从它们控制的设备上读取物理块。在这个块设备接口中集成了Buffer
Cache。当文件系统读取了块的时候,它们被存放到了所有的文件系统和Linux核心共享的全局的Buffer Cache中。其中的
buffer(缓冲区)用它们的块编号和被读取设备的一个唯一的标识符来标记。所以,如果相同的数据经常需要,它会从Buffer
Cache中读取,而不是从磁盘读取(会花费更多时间)。一些设备支持超前读(read
ahead),数据块会预先读取,以备以后可能的读取。
参见 fs/buffer.c
VFS
也保存了一个目录查找的缓存,所以一个常用的目录的inode可以快速找到。作为一个试验,试着对于你最近没有列表的目录列表。第一次你列表的时候,你会注意到短暂的停顿,当时第二次你列表的时候,结果会立即出来。目录缓存本身不存储目录里的inode,这是inodecache
负责的,目录缓存只是存储目录项目全称和它们的inode编号。
参见 fs/dcache.c
9.2.1 The VFS Superblock(VFS 超级块)
每一个安装的文件系统都用VFS超级块表示。除了其它信息,VFS 超级块包括:
参见 include/linux/fs.h
Device
这是包含文件系统的块设备的设备标识符。例如,/dev/hda1,系统中的第一个IDE磁盘,设备标识符是 0x301
Inode pointers 其中的
mountedinode指针指向该文件系统的第一个inode。 Coveredinode指针指向文件系统安装到的目录的inode。对于
root 文件系统,它的 VFS 超级块中没有 covered 指针。
Blocksize 文件系统块的字节大小,例如 1024 字节。
Superblock operations
指向一组本文件系统超级块例程的指针。除了其他类型之外,VFS 使用这些例程读写inode和超级块
File System type 指向这个安装的文件系统的
file_system_type 数据结构的一个指针
File System Specific 指向这个文件系统需要的信息的一个指针
9.2.2 The VFS Inode
象EXT2文件系统,VFS 中每一个文件、目录等等都用一个且只用一个 VFS inode代表。每一个
VFS inode中的信息使用文件系统相关的例程从底层的文件系统中获取。 VFS
inode只在核心的内存中存在,只要对系统有用,就一直保存在 VFS inodecache 中。除了其它信息,VFS
inode包括一些域:
参见 include/linux/fs.h
device 存放这个文件(或这个 VFS
inode代表的其它实体)的设备的设备标识符。
Inode nunber 这个inode的编号,在这个文件系统中唯一。 Device
和inodenumber 的组合在整个虚拟文件系统中是唯一的。
Mode 象EXT2一样,这个域描述这个 VFS
inode代表的东西和对它的访问权限。
User ids 属主标识符
Times 创建、修改和写的时间
Block size 这个文件的块的字节大小,例如 1024 字节
Inode operations
指向一组例程地址的指针。这些例程和文件系统相关,执行对于这个inode的操作,例如 truncate 这个inode代表的文件
Count 系统组件当前使用这个 VFS inode的数目。 Count 0
意味着这个inode是空闲,可以废弃或者重用。
Lock 这个域用于锁定这个 VFS inode。例如当从文件系统读取它的时候
Dirty 显示这个 VFS
inode是否被写过,如果这样,底层的文件系统需要更新。
File system specific information
9.2.3 Registering the File
Systems(登记文件系统)
当你建立Linux核心的时候,你会被提问是否需要每一个支持的文件系统。当核心建立的时候,文件系统初始化代码包括对于所有内建的文件系统的初始化例程的调用。Linux文件系统也可以建立成为模块,这种情况下,它们可以在需要的时候加载或者手工使用
insmod
加载。当加载一个文件系统模块的时候,它自身向核心登记,当卸载的时候,它就注销。每一个文件系统的初始化例程都向虚拟文件系统注册自身,并用一个
file_system_type 数据结构代表,这里面包括文件系统的名称和一个指向它的 VFS
超级块的读取例程的指针。图 9.5 显示 file_system_type 数据结构被放到了由
file_systems 指针指向的一个列表中。每一个 file_system_type 数据结构包括以下信息:
参见 fs/filesystems.c sys_setup()
参见 include/linux/fs.h file_system_type
Superblock read routine 在这个文件系统的一个实例安装的时候,由
VFS 调用这个例程
File Systme name 文件系统的名称,例如EXT2
Device needed
是否这个文件系统需要一个设备支持?并非所有的文件系统需要一个设备来存放。例如 /proc 文件系统,不需要一个块设备
你可以检查 /proc/filesystems 来查看登记了哪些文件系统,例如:
ext2
nodev proc
iso9660
9.2.4 Mounting a File System(安装一个文件系统)
当超级用户试图安装一个文件系统的时候,Linux核心必须首先验证系统调用中传递的参数。虽然
mount 可以执行一些基本的检查,但是它不知道这个核心建立是可以支持的文件系统或者提议的安装点是否存在。考虑以下的 mount
命令:
$ mount –t iso9660 –o ro /dev/cdrom /mnt/cdrom
这个
mount
命令会传递给核心三部分信息:文件系统的名称、包括这个文件系统的物理块设备和这个新的文件系统要安装在现存的文件系统拓扑结构中的哪一个地方。
虚拟文件系统要做的第一件事情是找到这个文件系统。它首先查看
file_systems 指向的列表中的每一个 file_system_type
数据结构,查看所有已知的文件系统。如果它找到了一个匹配的名称,它就直到这个核心支持这个文件系统类型,并得到了文件系统相关例程的地址,去读取这个文件系统的超级块。如果它不能找到一个匹配的文件系统名称,如果核心内建了可以支持核心模块按需加载(参见第
12 章),就可以继续。这种情况下,在继续之前,核心会请求核心守护进程加载适当的文件系统模块。
参见 fs/super.c do_mount()
参见 fs/super.c get_fs_type()
第二步,如果
mount 传递的物理设备还没有安装,必须找到即将成为新的文件系统的安装点的目录的 VFS inode。这个 VFS
inode可能在inodecache
或者必须从支撑这个安装点的文件系统的块设备上读取。一旦找到了这个inode,就检查它是否是一个目录,而且没有其他文件系统安装在那里。同一个目录不能用作多于一个文件系统的安装点。
这时,这个
VFS 安装代码必须分配以一个 VFS 超级块并传递安装信息给这个文件系统的超级块读取例程。系统所有的 VFS
超级块都保存在 super_block 数据结构组成的 super_blocks
向量表中,必须为这次安装分配一个结构。超级块读取例程必须根据它从物理设备读取得信息填充 VFS
超级块的域。对于EXT2文件系统而言,这种信息的映射或者转换相当容易,它只需要读取EXT2的超级块并填到 VFS
超级块。对于其他文件系统,例如 MS DOS 文件系统,并不是这么简单的任务。不管是什么文件系统,填充 VFS
超级块意味着必须从支持它的块设备读取描述该文件系统的信息。如果块设备不能读取或者它不包含这种类型的文件系统,mount
命令会失败。
每一个安装的文件系统用一个
vfsmount 数据结构描述,参见图 9.6 。它们在 vfsmntlist 指向的一个列表中排队。另一个指针,vfsmnttail
指向列表中最后一个条目,而 mru_vfsmnt 指针指向最近使用的文件系统。每一个 vfsmount
结构包括存放这个文件系统的块设备的设备编号,文件系统安装的目录和一个指向这个文件系统安装时所分配的 VFS 超级块的指针。 VFS
超级块指向这一类型的文件系统的 file_system_type 数据结构和这个文件系统的
rootinode。这个inode在这个文件系统加载过程中一直驻留在 VFS inodecache 中。
参见 fs/super.c add_vfsmnt()
9.2.5 Finding a File in the Virtual File
System(在虚拟文件系统中查找一个文件)
为了找到一个文件在虚拟文件系统中的
VFS inode,VFS 必须依次名称,一次一个目录,找到中间的每一个的目录的 VFS
inode。每一个目录查找都要调用和文件系统相关的查找例程(地址放在代表父目录的 VFS inode中)。因为在文件系统的 VFS
超级块中总是有文件系统的
rootinode,并在超级块中用指针指示,所以整个过程可以继续。每一次查找真实文件系统中的inode的时候,都要检查这个目录的目录缓存。如果目录缓存中没有这个条目,真实文件系统要么从底层的文件系统要么从inodecache
中获得 VFS inode。
9.2.6 Unmounting a File System(卸载一个文件系统)
我的工作手册通常把装配描述成为拆卸的反过程,但是对于卸载文件系统有些不同。如果系统有东西在使用文件系统的一个文件,那么这个文件系统就不能被卸载。例如,如果一个进程在使用
/mnt/cdrom 目录或它的子目录,你就不能卸载 /mnt/cdrom 。如果有东西在使用要卸载的文件系统,那么它的 VFS
inode会在 VFS inodecache
中。卸载代码检查整个inode列表,查找属于这个文件系统所占用的设备的inode。如果这个安装的文件系统的 VFS
超级块是 dirty,就是它被修改过了,那么它必须被写回到磁盘上的文件系统。一旦它写了磁盘,这个 VFS
超级块占用的内存就被返回到核心的空闲内存池中。最后,这个安装的 vmsmount 数据结构也从 vfsmntlist
中删除并释放。
参见 fs/super.c do_umount()
参见 fs/super.c remove_vfsmnt()
The VFS inodeCache
当游历安装的文件系统的时候,它们的 VFS
inode不断地被读取,有时是写入。虚拟文件系统维护一个inodecache,用于加速对于所有安装的文件系统的访问。每一次从inodecache
读出一个 VFS inode,系统就可以省去对于物理设备的访问。
参见 fs/inode.c
VFS
inodecache 用散列表(hash table)的方式实现,条目是指针,指向既有同样hash value的VFS
inode列表。一个inode的 hash value
从它的inode编号和包括这个文件系统的底层的物理设备的设备编号中计算出来。不论何时虚拟文件系统需要访问一个inode,它首先查看
VFS inodecache 。为了在inodehash table 中查找一个inode,系统首先计算它的 hash
value,然后用它作为inodehash table 的索引。这样得到了具有相同 hash value
的inode的列表的指针。然后它一次读取所有的inode直到它找到和它要找的inode具有相同的inode编号和相同的设备标识符的inode为止。
如果可以在
cache 中找到这个inode,它的 count 就增加,表示它有了另一个用户,文件系统的访问继续进行。否则必须找到一个空闲的
VFS
inode让文件系统把inode读入到内存。如何得到一个空闲的inode,VFS有一系列选择。如果系统可以分配更多的
VFS inode,它就这样做:它分配核心页并把它们分成新的、空闲的inode,放到inode列表中。系统中所有的 VFS
inode除了在inodehash table 中之外也在一个由 first_inode
指向的列表。如果系统已经拥有了它允许有的所有的inode,它必须找到一个可以重用的inode。好的候选是哪些使用量(count)是 0
的inode:这表示系统当前没有使用它们。真正重要的 VFS inode,例如文件系统的 rootinode,已经有了一个大于 0
的使用量,所以永远不会选做重用。一旦定位到一个重用的候选,它就被清除。这个 VFS
inode可能是脏的,这时系统必须等待它被解锁然后才能继续。在重用之前这个 VFS inode的候选必须被清除。
虽然找到了一个新的
VFS
inode,还必须调用一个和文件系统相关的例程,用从底层的真正的文件系统中毒取得信息填充这个inode。当它填充的时候,这个新的
VFS inode的使用量为 1,并被锁定,所以在它填入了有效的信息之前除了它没有其它进程可以访问。
为了得到它实际需要的
VFS
inode,文件系统可能需要访问其它一些inode。这发生在你读取一个目录的时候:只有最终目录的inode是需要的,但是中间目录的inode也必须读取。当
VFS inodecache 使用过程并填满时,较少使用的inode会被废弃,较多使用的inode会保留在高速缓存中。
· The Directory Cache(目录缓存)
为了加速对于常用目录的访问,VFS
维护了目录条目的一个高速缓存。当真正的文件系统查找目录的时候,这些目录的细节就被增加到了目录缓存中。下一次查找同一个目录的时候,例如列表或打开里边的文件,就可以在目录缓存中找到。只有短的目录条目(最多
15 字符)被缓存,不过这是合理的,因为较短的目录名称是最常用的。例如:当 X 服务器启动的时候,/usr/X11R6/bin
非常频繁地被访问。
参见 fs/dcache.c
目录缓存中包含一个
hash table,每一个条目都指向一个具有相同的 hash value 的目录缓存条目的列表。 Hash
函数使用存放这个文件系统的设备的设备编号和目录的名称来计算在 hash table
中的偏移量或索引。它允许快速找到缓存的目录条目。如果一个缓存在查找的时候花费时间太长,或根本找不到,这样的缓存是没有用的。
为了保持这些
cache 有效和最新,VFS
保存了一个最近最少使用(LRU)目录缓存条目的列表。当一个目录条目第一次被放到了缓存,就是当它第一次被查找的时候,它被加到了第一级
LRU 列表的最后。对于充满的 cache,这会移去 LRU 列表前面存在的条目。当这个目录条目再一次被访问的时候,它被移到了第二个
LRU cache 列表的最后。同样,这一次它移去了第二级 LRU cache 列表前面的二级缓存目录条目。这样从一级和二级 LRU
列表中移去目录条目是没有问题的。这些条目之所以在列表的前面只是因为它们最近没有被访问。如果被访问,它们会在列表的最后。在二级 LRU
缓存列表中的条目比在一级 LRU 缓存列表中的条目更加安全。因为这些条目不仅被查找而且曾经重复引用。
TheBuffer Cache
当使用安装的文件系统的时候,它们会对块设备产生大量的读写数据块的请求。所有的块数据读写的请求都通过标准的核心例程调用,以
buffer_head
数据结构的形式传递给设备驱动程序。这些数据结构给出了设备驱动程序需要的所有信息:设备标识符唯一标识了设备,块编号告诉了驱动程序读去哪一块。所有的块设备被看成同样大小的块的线性组合。为了加速对于物理块设备的访问,Linux维护了一个块缓冲区的缓存。系统中所有的块缓冲区都保存在这个Buffer
Cache,甚至包括那些新的、未使用的缓冲区。这个缓存区被所有的物理块设备共享:任何时候缓存区中都有许多块缓冲区,可以属于任何一个系统块设备,通常具有不同的状态。如果在Buffer
Cache中有有效的数据,这就可以节省系统对于物理设备的访问。任何用于从 / 向块设备读取 /
写入数据的块缓冲区都进入这个Buffer
Cache。随着时间的推移,它可能从这个缓存区中删除,为其它更需要的缓冲区让出空间,或者如果它经常被访问,就可能一直留在缓存区中。
这个缓存区中的块缓冲区用这个缓冲区所属的设备标识符和块编号唯一标识。这个Buffer
Cache由两个功能部分组成。第一部分是空闲的块缓冲区列表。每一个同样大小的缓冲区(系统可以支持的)一个列表。系统的空闲的块缓冲区当第一次创建或者被废弃的时候就在这些列表中排队。当前支持的缓冲区大小是
512、1024、2048、4096 和 8192 字节。第二个功能部分是缓存区(cache)本身。这是一个 hash
table,是一个指针的向量表,用于链接具有相同 hash index 的 buffer 。 Hash index
从数据块所属的设备标识符和块编号产生出来。图 9.7 显示了这个 hash table
和一些条目。块缓冲区要么在空闲列表之一,要么在Buffer Cache中。当它们在Buffer Cache的时候,它们也在 LRU
列表中排队。每一个缓冲区类型一个 LRU
列表,系统使用这些类型在一种类型的缓冲区上执行操作。例如,把有新数据的缓冲区写到磁盘上。缓冲区的类型反映了它的状态,Linux当前支持以下类型:
clean 未使用,新的缓冲区(buffer)
locked 锁定的缓冲区,等待被写入
dirty 脏的缓冲区。包含新的有效的数据,将被写到磁盘,但是直到现在还没有调度到写
shared 共享的缓冲区
unshared 曾经共享的缓冲区,但是现在没有共享
不论何时文件系统需要从它的底层的物理设备读取一个缓冲区的时候,它都试图从Buffer
Cache中得到一个块。如果它不能从Buffer
Cache中得到一个缓冲区,它就从适当大小的空闲列表中取出一个干净的缓冲区,这个新的缓冲区会进入到Buffer
Cache中。如果它需要的缓冲区已经在Buffer
Cache中,那么它可能是也可能不是最新。如果它不是最新,或者它是一个新的块缓冲区,文件系统必须请求设备驱动程序从磁盘上读取适当的数据块。
象所有的高速缓存一样,Buffer
Cache必须被维护,这样它才能有效地运行,并在使用Buffer Cache的块设备之间公平地分配缓存条目。Linux使用核心守护进程
bdflush 在这个缓存区上执行大量的整理工作,不过另一些是在使用缓存区的过程中自动进行的。
9.3.1 The bdflush Kernel Daemon(核心守护进程
bdflsuh)
核心守护进程
bdflush
是一个简单的核心守护进程,对于有许多脏的缓冲区(包含必须同时写到磁盘的数据的缓冲区)的系统提供了动态的响应。它在系统启动的时候作为一个核心线程启动,相当容易混淆,它叫自己为“
kflushd ”,而这是你用 ps
显示系统中的进程的时候你会看得的名字。这个进程大多数时间在睡眠,等待系统中脏的缓冲区的数目增加直到太巨大。当缓冲区分配和释放的时候,就检查系统中脏的缓冲区的数目,然后唤醒
bdflush 。缺省的阈值是 60%,但是如果系统非常需要缓冲区,bdflush 也会被唤醒。这个值可以用 updage
命令检查和设置:
#update –d
bdflush version 1.4
0: 60 Max fraction of LRU list to examine for dirty
blocks
1: 500 Max number of dirty blocks to write each
time bdflush activated
2: 64 Num of clean buffers to be loaded onto free
list by refill_freelist
3: 256 Dirty block threshold for activating bdflush
in refill_freelist
4: 15 Percentage of cache to scan for free
clusters
5: 3000 Time for data buffers to age before
flushing
6: 500 Time for non-data(dir, bitmap, etc)buffers
to age before flushing
7: 1884 TimeBuffer Cacheload average constant
8: 2 LAV ratio(used to determine threshold for
buffer fratricide).
不管什么时候写入了数据,成为了脏的缓冲区,所有的脏的缓冲区都链接在
BUF_DIRTY LRU 列表中,bdflush 会尝试把合理数目的缓冲区写到它们的磁盘中。这个数目也可以用
update 命令检查和设置,缺省是 500(见上例)。
9.3.2 The update Process(update 进程)
update
命令不仅仅是一个命令,它也是一个守护进程。当以超级用户身份(系统初始化)运行的时候,它会定期把所有旧的脏缓冲区写到磁盘上。它通过调用系统服务例程执行这些任务,或多或少和
bdflush 的任务相同。当生成了一个脏缓冲区的时候,都标记上它应该被写到它自己的磁盘上的系统时间。每一次
update 运行的时候,它都查看系统中所有的脏的缓冲区,查找具有过期的写时间的缓冲区。每一个过期的缓冲区都被写到磁盘上。
参见 fs/buffer.c sys_bdflush()
· The /proc File
System
/proc
文件系统真实地体现了Linux虚拟文件系统的能力。它实际上并不存在(这也是Linux另外一个技巧),/proc
和它的子目录以及其中的文件都不存在。但是为什么你可以 cat /proc/devices ? /proc
文件系统,象一个真正的文件系统一样,也向虚拟文件系统登记自己,但是当它的文件和目录被打开,VFS
执行调用请求它的inode的时候,/proc 文件系统才利用核心中的信息创建这些文件和目录。例如,核心的
/proc/devices 文件是从核心描述它的设备的数据结构中产生出来的。
/proc 文件系统代表了一个用户可读的窗口,进入核心的内部工作空间。一些Linux子系统,例如第
12 章描述的Linux核心模块,都在 /proc 文件系统中创建条目。
· Device Special Files
Linux,象所有版本的Unix一样,把它的硬件设备表示成为特殊文件。例如,/dev/null
是空设备。设备文件不在文件系统中占用任何数据空间,它只是设备驱动程序的一个访问点。EXT2文件系统和Linux的
VFS
都把设备文件作为特殊类型的inode。有两种类型的设备文件:字符和块特殊文件。在核心内部本身,设备驱动程序都实现文件的基本操作:你可以打开、关闭等等。字符设备允许字符模式的
I/O 操作,而块设备要求所有的 I/O 通过Buffer Cache。当对于一个设备文件执行一个 I/O
请求的时候,它被转到系统中适当的设备驱动程序。通常这不是一个真正的设备驱动程序,而是一个用于子系统的伪设备驱动程序(pseudo-device
driver)例如
SCSI设备驱动程序层。设备文件用主设备编号(标识设备类型)和次类型来引用(用于标识单元,或者主类型的实例)。例如,对于系统中的第一个IDE控制器上的IDE磁盘,主设备编号是
3,IDE磁盘的第一个分区的次设备编号应该是 1,所以,ls –l /dev/hda1 输出
$ brw-rw---- 1 root disk 3, 1 Nov 24 15:09
/dev/hda1
参见 /include/linux/major.h 中所有Linux的主设备编号
在核心中,每一个设备用一个
kdev_t 数据类型唯一描述。这个类型有两个字节长,第一个包括设备的次设备编号,第二个包括主设备编号。上面的IDE设备在核心中保存为
0x0301 。代表一个块或者字符设备的EXT2 inode 把设备的主和次设备号放在它的第一个直接块指针那里。当它被 VFS
读取的时候,代表它的 VFS inode数据结构的 I_rdev 域被设成正确的设备标识符。