Ceph分布式存储系统：深入解析MDS Quiesce协议机制

Ceph分布式存储系统：深入解析MDS Quiesce协议机制

ceph Ceph is a distributed object, block, and file storage platform 项目地址: https://gitcode.com/gh_mirrors/ce/ceph

概述

在Ceph分布式存储系统中，MDS（Metadata Server）负责管理文件系统的元数据。MDS Quiesce协议是Ceph文件系统中一个重要的底层机制，用于"静默"（quiesce）文件系统中的目录树，暂停该树结构下的所有写入操作（有时也包括读取操作）。

Quiesce协议的核心作用

Quiesce协议的主要目的是在存在客户端间带外通信的情况下，防止多个客户端在最终一致的快照屏障（snapshot barrier）上交错进行读写操作。这种交错操作可能导致客户端错误地认为它们已经到达了一个可以通过快照相互恢复的检查点。

技术要点：

• 这是一个MDS层面的低级别机制
• 高级别的QuiesceDb才是客户端使用的推荐API
• 主要用于确保快照一致性

工作机制详解

1. 基本流程

MDS通过一个新的内部请求quiesce_path来实现I/O静默：

1. 首先在树的根节点获取适当的锁
2. 然后为树中的其他inode发起一系列子请求
3. 获取的锁会强制客户端释放caps（能力）并完成正在进行的客户端/MDS请求

2. 锁机制

quiesce_inode内部请求会获取以下几种锁：

• 能力相关锁：

  • filelock：文件锁
  • authlock：授权锁
  • linklock：链接锁
  • xattrlock：扩展属性锁

• 特殊锁：

  • quiescelock：专为quiesce设计的新本地锁

锁释放策略：

• 一旦所有锁被获取，能力相关锁会被释放
• 仅保留quiescelock来阻止向客户端发放能力相关锁的能力

3. 目录处理

如果inode是目录类型，quiesce_inode操作会：

1. 遍历所有目录片段
2. 为所有子inode发起新的quiesce_inode请求

Inode Quiescelock深度解析

quiescelock是一个专为quiesce设计的新型本地锁，具有以下特性：

1. 基本特性

• 是一种超级锁（superlock）
• 任何需要写锁或排他锁的客户端/MDS操作都会隐式获取quiescelock的写锁
• 本地锁支持多个写入者，但只有一个排他锁持有者
• 没有读锁

2. 工作模式

• 正常操作：MDS中quiescelock仅被持有用于写入
• quiesce期间：quiesce_inode操作会在整个生命周期内以排他方式持有quiescelock

3. 锁顺序

quiescelock必须优先于所有其他锁（参见src/include/ceph_fs.h中的排序），以充当超级锁的角色。

4. 关键作用

主要防止客户端请求在持有正常路径遍历期间获取的锁的同时，阻塞在quiesce_inode持有的锁上。特别是防止以下情况：

• 客户端持有父inode的snaplock和policylock
• 同时等待获取quiesce相关的锁
• 导致后续对根inode的mksnap操作无法进行

查找与导出处理

1. 新元数据导入处理

quiesce操作完成后，操作会保持锁的持有状态而不监控树的状态变化，因此需要处理新元数据导入的情况：

• 目录查找或读取：

  • MDS检查父目录是否被quiesce（quiescelock是否被排他锁定）
  • 如果是，立即为新的inode发起quiesce_inode操作
  • 新操作会立即成功，阻止向客户端发放不适当的能力

• 子树导入：

  • 导入的子树可能包含不适当状态的inode
  • 导入MDS遇到quiesce的目录inode时会跳过根inode的发现
  • 跳过会导致向导出者发送NAK消息，中止导出操作

总结

Ceph的MDS Quiesce协议通过精心设计的锁机制，特别是引入quiescelock这一新型本地锁，实现了文件系统目录树的可靠静默。这种机制不仅保证了快照操作的一致性，还通过巧妙的锁获取顺序和释放策略避免了潜在的死锁问题。理解这一机制对于深入掌握Ceph文件系统的内部工作原理具有重要意义。

ceph Ceph is a distributed object, block, and file storage platform 项目地址: https://gitcode.com/gh_mirrors/ce/ceph