LVM元数据服务lvmetad分析

2019独角兽企业重金招聘Python工程师标准>>>

lvmetad是LVM中用于处理元数据缓存的服务。

缓存状态

• Empty ： 系统中可用的设备还没有被添加到lvmetad。
• Scanning ： 部分系统中可用的设备已经被添加进lvmetad。
• Initialized ： 全部系统中可用的设备已经被添加进lvmetad。
• Outdated ： 还有系统或者存储时间没有被lvmetad处理。
• Updated ： 所有事件都已经被处理。

缓存过时（Outdated）的情况

• MissingDev ： 添加到系统中的设备还没有被添加进lvmetad。
• RemovedDev ： 从系统中移除的设备还没有被从lvmetad删除。
• MissingVG ： 写入磁盘的新VG还没有被添加进lvmetad。
• RemovedVG ： 从磁盘中删除的VG还没有被从lvmetad中删除。
• ChangedVG ： 磁盘中的VG元数据已经被修改，但是lvmetad还没有更新。
• MissingPV ： 写入磁盘的新PV还没有被添加进lvmetad。
• RemovedPV ： 从磁盘中删除的PV还没有被从lvmetad中删除。
• ChangedPV ： 磁盘中的PV元数据已经被修改，但是lvmetad还没有更新。

缓存状态转换

• Empty -> Scanning
• Scanning -> Initialized
• Initialized -> Scanning
• Initialized -> Outdated
• Outdated -> Updated
• Updated -> Outdated
• Updated -> Scanning
• Outdated -> Scanning

缓存状态转换的原因

Empty

• 启动或重启lvmetad服务。

Scanning

• 运行pvscan --cache命令。
• 运行任何global_filter不同的命令（token不匹配）。
• 当lvmetad处于Empty状态时，运行任何命令。
• 运行一个报告或显示命令时使用--foreign选项。
• 运行一个报告或显示命令时使用--shared选项。
• 运行一个命令时使用了lvmetad全局锁，且锁的状态发生改变。

Initialized

• 扫描完成。

Outdated

• 从系统中添加或删除设备。
• 创建、删除或修改一个VG。
• 创建、删除或修改一个PV。

Updated

• 接收并处理完所有事件。

不同缓存状态下的请求处理

• Empty ： 返回token错误。
• Scanning ： 返回token错误，并附带“updating”字符串。
• Initialized ： 正常响应所有请求。
• Updated ： 正常响应所有请求。
• Outdated ： 正常响应所有请求。

一般的状态转换步骤

正常情况下，状态转换一般是“Updated -> Scanning -> Initialized”，转换步骤是：

1. 接收一个设置token为“updating”的请求， Scanning状态开始；
2. 接收一个pv_clear_all请求来清除当前缓存；
3. 接收一系列pv_found时间来重新构建缓存；
4. 接收一个设置token为一个hash值，Initialized状态开始。

从Outdated向Updated的状态转换依赖与LVM命令发送给lvmetad的事件请求，比如说pv_found, pv_gone, vg_update, vg_remove。

注意：

• 当通过lvmlockd使用共享VG时，Outdated会持续较长时间，因此，在每次使用缓存前，lvmlockd会强制进行一次“Outdated -> Scanning -> Initialized”状态转换。

缓存的有效性

正常情况下，lvmetad通过处理来自客户端的提醒消息和系统的uevents来保持缓存处于最新状态。当使用lvmlockd时，当其他主机改变磁盘上的元数据时，也应该使本机的lvmetad元数据缓存变为过时状态。

为了解决这个问题，lvmetad元数据缓存增加了“无效”标志，当一个命令向lvmetad发送获取元数据请求时，在lvmetad返回元数据的同时，附带缓存“无效”标志。命令在收到响应后首先检查这个标志，如果无效则扫描磁盘，获取最新的元数据。最后把最新的元数据发送给lvmetad服务，并清除其“无效”标志，后面再有新的命令获取元数据时获取的就是最新的元数据了。

为了跟踪元数据“无效”状态，LVM元数据被分为两类，VG范围和全局范围：

• VG范围 - 包括VG修改或者LV所有操作。
• 全局范围 - 包括VG的名称、孤立的物理卷。

当使用lvmetad时，分布式锁中会包含VG最新的seqno，或者全局锁会有一个全局计数器，当对锁使用Update操作后会增加这个序号。其他节点在获取锁时会把锁记录的序号与自身保存的序号进行比较，如果自身的较小则说明元数据过时，则从本地重新扫描元数据。

转载于:https://my.oschina.net/LastRitter/blog/1535849