
构建小型 FUSE 文件系统:从原理到实践
最近,作者一直在研究沙盒化、存储和网络相关内容,很多工作最终都回到文件上,因为 Unix 围绕 "一切皆文件" 理念发展了五十多年。在这篇文章中,作者构建了一个小型文件系统 `magicfs`,它挂载在 `/magic` 目录下,有真实后备存储和足够元数据,为让代码易读省略了一些功能。完整示例代码可在 [github.com/shayonj/magicfs](https://github.com/shayonj/magicfs) 找到,安装 Docker 可在启用 FUSE 情况下运行。
先试试看
通过 `docker run -it --rm --device /dev/fuse --cap-add SYS_ADMIN shayonj/magicfs` 命令可运行文件系统。在 shell 中,挂载点是应用程序接口,存储目录是文件系统私有状态,shell 看到普通目录,背后是元数据文件和本地二进制大对象。元数据文件记录文件名称、inode 编号等信息,重命名和重写文件会相应改变元数据。
将文件系统视为请求循环
运行 `cat /magic/hello.txt` 时,`cat` 只调用 `open()` 和 `read()`,内核通过 VFS 解析路径,操作落到 `magicfs` 文件系统。使用 FUSE 时,处理请求代码在用户空间运行,内核驱动通过 `/dev/fuse` 发送消息,用户空间进程响应。读取操作有大致流程,请求日志中有 `LOOKUP`、`GETATTR` 等操作,写入路径较复杂。
元数据与文件名
文件系统需先处理文件名问题,路径查找完成后,Linux 通过 inode 编号引用文件。`magicfs` 将目录项和 inode 元数据存储在 `metadata.json` 中,`LOOKUP` 和 `GETATTR` 处理程序使 `stat` 和 `ls -l` 正常工作。读写处理前存在顺序问题,`magicfs` 先写二进制大对象再替换元数据,但无恢复过程时崩溃后无法确定元数据更新是否提交。
将文件内容存储为本地二进制大对象
`magicfs` 将已提交文件版本存储为不可变二进制大对象,简化代码。读取时先获取元数据,再打开对应文件返回字节;写入时暂存内容,`FLUSH` 或 `FSYNC` 时写入新对象并更新元数据。示例实现了写时复制数据路径,但完整实现会分块处理文件。
写入并不等同于同步
像 `echo "remember the milk" > /magic/notes.txt` 这样的 shell 命令,背后文件系统操作更复杂。普通 Linux 文件系统中,`write(2)` 不意味着字节已写入稳定存储,应用程序用 `fsync(2)` 刷新数据和元数据。文件描述符关闭时 FUSE 调用文件系统,`flush` 与 `fsync` 含义不同,`release` 更晚发生。`magicfs` 在 `FLUSH` 和 `FSYNC` 时提交暂存字节,元数据替换需同步新文件和目录项。
缓存与过期元数据
FUSE 响应含文件名和属性 TTL 值,过期前内核可直接回答重复调用,节省开销。`magicfs` 使用 1 秒 TTL,多进程或多机器更新后备存储时可能出现缓存问题。文件内容使用 FUSE 直接 I/O 打开,放弃了缓存和预读功能,缓存策略影响调用者观察结果。
我保留的不足之处
该实现仅支持一个目录,重写字节会重写整个文件,无日志、恢复扫描等功能,未模拟后备层为远程时的问题。日志、分块、垃圾回收器和更好的缓存失效机制可改进系统。使用 FUSE 时,Linux 向文件系统提固定问题,实现需定义相关操作。作者正在 Tines 处理相关问题,且正在招聘。
397



被折叠的 条评论
为什么被折叠?



