CubeFS文件系统一致性检测工具(fsck)使用指南

CubeFS文件系统一致性检测工具(fsck)使用指南

cubefs CubiFS 是一个开源的分布式文件系统，用于数据存储和管理，支持多种数据存储模型和云原生环境。 * 分布式文件系统、数据存储和管理 * 有什么特点：支持多种数据存储模型和云原生环境、易于集成和部署 项目地址: https://gitcode.com/gh_mirrors/cu/cubefs

工具概述

CubeFS文件系统一致性检测工具(fsck)是一个强大的运维工具，专门用于检查和修复CubeFS分布式文件系统中的不一致和错误问题。该工具能够有效解决多副本场景下的元数据不一致、文件系统损坏等问题，显著降低集群运维的复杂度。

工具编译与安装

要使用fsck工具，首先需要从源代码编译生成可执行文件。在CubeFS项目目录下执行以下命令：

$ make fsck

编译完成后，可执行程序cfs-fsck将生成在./build/bin/目录下。建议将此工具部署在能够访问CubeFS集群管理节点的环境中。

核心功能详解

1. 元数据一致性检查

1.1 Inode检查

Inode是文件系统的基本数据结构，存储了文件的元信息。检查命令如下：

$ ./cfs-fsck check inode --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

1.2 Dentry检查

Dentry(目录项)记录了文件名与inode的映射关系。检查命令如下：

$ ./cfs-fsck check dentry --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

1.3 联合检查

可以同时检查inode和dentry：

$ ./cfs-fsck check both --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

检查结果会生成以下文件结构：

.
├── dentry.dump          # 所有dentry信息
├── dentry.dump.obsolete # 过时的dentry
├── inode.dump           # 所有inode信息
└── inode.dump.obsolete  # 过时的inode

2. 多副本一致性检查

CubeFS v3.5.0混合云版本新增了多副本一致性检查功能，用于确保元数据分区(MP)在不同副本间的一致性。

2.1 检查整个卷

$ ./cfs-fsck check mp --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

2.2 检查特定MP

$ ./cfs-fsck check mp --master "127.0.0.1:17010" --mport "17220" --mp 1

2.3 高级选项

检查时跳过applyid不同的副本（默认不跳过）：

$ ./cfs-fsck check mp --master "127.0.0.1:17010" --mport "17220" --mp 1 --check-apply-id true

检查结果会输出到mpCheck.log文件中。

3. 垃圾数据清理

3.1 清理孤立inode

清理满足以下条件的inode：

1. 链接计数为0(Nlink=0)
2. 修改时间超过24小时
3. 类型为普通文件(非目录)

$ ./cfs-fsck clean inode --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

3.2 强制清理

对于链接计数不为0的垃圾数据，可添加-f参数强制删除：

$ ./cfs-fsck clean inode -f --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

4. 信息查询功能

4.1 获取inode位置信息

$ ./cfs-fsck get locations --inode <inodeID> --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

输出示例：

Inode: 1
Generation: 1
Size: 0

MetaPartition:
 Id:1
 Leader:172.16.1.103:17210
 Hosts:[172.16.1.102:17210 172.16.1.103:17210 172.16.1.101:17210]

4.2 获取inode路径

$ ./cfs-fsck get path --inode <inodeID> --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

输出示例：

Inode: 8388610, Valid: true
Path: /111.test

4.3 获取inode摘要信息

$ ./cfs-fsck get summary --inode <inodeID> --master "127.0.0.1:17010" --vol "<volName>" --mport "17220"

输出示例：

Inode: 8388610, Valid: true
Path(is file): /111.test, Bytes: 0

最佳实践建议

1. 定期检查：建议在业务低峰期定期执行一致性检查，预防潜在问题
2. 检查前备份：执行清理操作前，建议先备份检查结果文件
3. 问题诊断：遇到文件系统问题时，优先使用信息查询功能定位问题
4. 谨慎清理：清理操作前建议先检查确认，避免误删重要数据
5. 多副本检查：在升级或故障恢复后，务必执行多副本一致性检查

通过合理使用fsck工具，可以有效维护CubeFS文件系统的健康状态，确保数据的一致性和可靠性。

cubefs CubiFS 是一个开源的分布式文件系统，用于数据存储和管理，支持多种数据存储模型和云原生环境。 * 分布式文件系统、数据存储和管理 * 有什么特点：支持多种数据存储模型和云原生环境、易于集成和部署 项目地址: https://gitcode.com/gh_mirrors/cu/cubefs