MFS分布式文件系统搭建-优快云博客

本文详细介绍MooseFS(MFS)分布式文件系统的搭建步骤及验证流程，包括master、chunkserver和client的配置方法，以及文件误删恢复等功能演示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MFS是什么
MFS全称MooseFS,是文件管理系统的抽象层,将用户的数据通过master之后,存储在多个网络存储节点上面,这个过程对于用户来说时透明的,并且MFS具有很强大的网络容错能力;
MFS的特性

1.是一个通用的文件系统,不需要商城应用软件提供接口,直接可以进行使用;
2.允许在线扩容,伸缩性强大;
3.可以设置任意文件的冗余程度,并且不会影响读/写性能;
4.可以在执行事件内恢复误删除的文件;
5.提供快照功能;
6.提供方便的管理界面

MFS的文件系统结构

managing server:也就是master,用于负责各个数据存储服务器的管理,文件读写调度,文件空间回收,文件误删除恢复,多节点数据拷贝等;
Metalogger Server:负责备份master 服务器上面特殊的日志文件,用于确保master故障时,进行接管操作,类似于ext3之后支持的日志文件系统的日志作用,文件格式通常为changelog_ml.*.mfs;
Chunk Server:数据存储服务器,受管理服务器调度,提供实际的数据存储服务,并且在管理服务器的调度下,完成对于数据的操作
client computers:客户端使用透明的存储方式,完全和本地文件系统一样的使用;

MFS结构图
这里写图片描述

配置环境
hostname|ip|功能|os

| :-: | -:
server11|172.25.254.11|moosefs-master|rhel7.3
server12|172.25.254.12|moosefs-chunkserver|rhel7.3
server13|172.25.254.13|moosefs-chunkserver|rhel7.3
foundation77|172.25.254.77|moosefs-client|rhel7.2

一、master配置

1、官网下载有关mfs的rpm包

[root@server11 ~]# cd 3.0.100/
[root@server11 3.0.100]# ls
moosefs-cgi-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-cgiserv-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-chunkserver-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-cli-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-client-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-master-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-metalogger-3.0.100-1.rhsystemd.x86_64.rpm
moosefs-netdump-3.0.100-1.rhsystemd.x86_64.rpm

2、master端安装

[root@server11 3.0.100]# yum install moosefs-cgi-3.0.100-1.rhsystemd.x86_64.rpm  moosefs-cgiserv-3.0.100-1.rhsystemd.x86_64.rpm moosefs-master-3.0.100-1.rhsystemd.x86_64.rpm

3、做域名解析

[root@server11 3.0.100]# vim /etc/hosts
172.25.254.11   server11        mfsmaster

4、开启服务并查看接口

[root@server11 3.0.100]# systemctl start moosefs-master
[root@server11 3.0.100]# systemctl start moosefs-cgiserv.service 
[root@server11 3.0.100]# netstat -antlp | grep 94*
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      2308/mfsmaster      
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      2308/mfsmaster      
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      2308/mfsmaster      
tcp        0      0 0.0.0.0:9425            0.0.0.0:*               LISTEN      2355/python

此时可以在浏览器中访问到：
这里写图片描述

二、chunkserver端配置

server12和server13想同

1、域名解析

[root@server12 ~]# vim /etc/hosts
172.25.254.11   server11        mfsmaster

2、安装moosefs-chunkserver

[root@server12 ~]# yum install -y moosefs-chunkserver-3.0.100-1.rhsystemd.x86_64.rpm

3、建立需要作为chunkserver的目录，并修改所有人，所有组

实验中我们将/mnt/mfs/作为chunkserver，使用根空间，实际生产环境下应该创建目录后，将磁盘挂载在该目录下

[root@server12 ~]# mkdir /mnt/chunk1
[root@server12 ~]# chown mfs.mfs /mnt/chunk1/ -R 

[root@server13 ~]# mkdir /mnt/chunk2
[root@server13 ~]# chown mfs.mfs /mnt/chunk2/ -R

4、在配置文件中注明作为chunkserver的目录

[root@server13 ~]# vim /etc/mfs/mfshdd.cfg
 35 
 36 /mnt/chunk2

[root@server12 ~]# vim /etc/mfs/mfshdd.cfg
 35 
 36 /mnt/chunk1

5、开启服务

[root@server12 ~]# systemctl start moosefs-chunkserver
[root@server13 ~]# systemctl start moosefs-chunkserver

此时浏览器刷新页面：
这里写图片描述

三、moosefs-client配置

1、安装moosefs-client

[root@foundation77 3.0.100]# yum install -y moosefs-client-3.0.100-1.rhsystemd.x86_64.rpm

2、同样做域名解析，和其他节点相同

[root@foundation77 mfs]# mkdir /mnt/mfs   ##建立挂载目录
[root@foundation77 mfs]# mfsmount    ##执行mfsmount命令，可以直接挂载
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
[root@foundation77 mfs]# df   ##查看
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/sda9      116584840 29723816  86861024  26% /
devtmpfs         1870976        0   1870976   0% /dev
tmpfs            1885984      528   1885456   1% /dev/shm
tmpfs            1885984     9448   1876536   1% /run
mfsmaster:9421  16748544  2964864  13783680  18% /mnt/mfs

3、建立文件测试

[root@foundation77 mfs]# mkdir dir1 dir2
[root@foundation77 mfs]# mfsgetgoal dir1   ##默认建立的文件，会保存两份，分别在两个chunkserver上
dir1: 2
[root@foundation77 mfs]# mfsgetgoal dir2
dir2: 2
[root@foundation77 mfs]# cp /etc/passwd dir1
[root@foundation77 mfs]# cp /etc/fstab dir2
[root@foundation77 mfs]# mfssetgoal -r 1 dir1   ##设置dir1目录下的文件，只cp一份
dir1:
 inodes with goal changed:                       2
 inodes with goal not changed:                   0
 inodes with permission denied:                  0
[root@foundation77 mfs]# mfsgetgoal dir1
dir1: 1
[root@foundation77 mfs]# mfsfileinfo dir1/passwd    ##查看
dir1/passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		copy 1: 172.25.254.12:9422 (status:VALID)
[root@foundation77 mfs]# mfsfileinfo dir2/fstab   ##查看
dir2/fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.254.12:9422 (status:VALID)
		copy 2: 172.25.254.13:9422 (status:VALID)

3、关闭dir1保存文件的chunkserver

[root@server12 ~]# systemctl stop moosefs-chunkserver
[root@foundation77 mfs]# mfsfileinfo dir1/passwd   ##可以查看到看到有这文件，但是不能查看
dir1/passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		no valid copies !!!
[root@server12 ~]# systemctl start moosefs-chunkserver  ##重新打开chunkserver后文件恢复正常
[root@foundation77 mfs]# mfsfileinfo dir1/passwd 
dir1/passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		copy 1: 172.25.254.12:9422 (status:VALID)

四、文件误删，恢复

[root@foundation77 dir1]# rm -fr passwd 
[root@foundation77 dir1]# cd ..
[root@foundation77 mfs]# mkdir /mnt/mfsmeta
[root@foundation77 mfs]# mfsmount -m /mnt/mfsmeta/
mfsmaster accepted connection with parameters: read-write,restricted_ip
[root@foundation77 mfs]# cd /mnt/mfsmeta/trash/
[root@foundation77 trash]# ls

这里写图片描述

[root@foundation77 trash]# ls -R passwd
00000004\|dir1\|passwd
[root@foundation77 trash]# mv 00000004\|dir1\|passwd undel/
[root@foundation77 trash]# ls /mnt/mfs/dir1
passwd
[root@foundation77 trash]#