mfs文件系统的配置

最新推荐文章于 2022-06-12 16:35:39 发布
最新推荐文章于 2022-06-12 16:35:39 发布
阅读量387 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuludan0217/article/details/90477989
版权
本文详细介绍了MFS（MooseFS）分布式文件系统的配置过程，包括管理服务器、元数据日志服务器、数据存储服务器（chunk servers）和客户端挂载的配置步骤，以及文件恢复的方法。MFS通过在网络中分散存储数据，提供统一的资源访问，具备容错性和高可用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MFS
什么是MFS文件系统：
MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
MooseFS文件系统结构包括一下四种角色：
管理服务器master
管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝
元数据日志服务器：
负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master server出现问题的时候解体器 进行工作
数据存储服务器data server（chunk servers）
真正存储用户数据的服务器存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间赋值（复制份数可以手工指定，建议设置副本数为数据服务器可以为多个，并且数据越多，可使用的“磁盘空间越大，”可靠性也越高
客户端挂载使用client computers
使用MFS文件系统来存储和访问的主机名称为MFS的客户端，成功挂载MFS系统以后，就可以像以前NFS一样共享这个虚拟性的存储了。

MFS文件系统的配置：

一、配置主节点

1、server1安装master和web图形界面

[root@server1 3.0.103]# yum install -y moosefs-master-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cli-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgi-3.0.103-1.rhsystemd.x86_64.rpm

2、打开服务并查看端口

[root@server1 3.0.103]#systemctl start moosefs-moster
Failed to start moosefs-moster.service: Unit not found.
[root@server1 3.0.103]#systemctl start moosefs-master
[root@server1 3.0.103netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      900/mfsmaster       
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      900/mfsmaster       
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      900/mfsmaster       
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      531/sshd            
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      713/master          
tcp        0      0 172.25.11.1:22          172.25.11.250:36402     ESTABLISHED 826/sshd: root@pts/ 
tcp6       0      0 :::22                   :::*                    LISTEN      531/sshd            
tcp6       0      0 ::1:25                  :::*                    LISTEN      713/master
  • 9419 metalogger 监听的端口地址(默认是9419)，和源数据日志结合。定期和master端同步数据
  • 9420 用于chunkserver 连接的端口地址（默认是9420），通信节点
  • 9421 用于客户端对外连接的端口地址（默认是9421）

3、做主节点解析

[root@server1 3.0.103]# vim /etc/hosts
172.25.11.1    server1 mfsmaster

4、打开图形处理工具

 systemctl start moosefs-cgiserv

二、chunk节点配置

1、安装MFS的客户端软件

[root@server1 3.0.103]# scp moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm root@172.25.11.2:/root
  
[root@server1 3.0.103]# scp moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm root@172.25.11.3:/root

[root@server2 3.0.103]# rpm -ivh moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm

[root@server3 3.0.103]# rpm -ivh moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm

2、添加解析

[root@server3 3.0.103]# vim /etc/hosts
172.25.11.1    server1 mfsmaster
[root@server2 3.0.103]# vim /etc/hosts
172.25.11.1    server1 mfsmaster

3、编辑客户端的配置文件

[root@server2 ~]# vim /etc/mfs/mfshdd.cfg
最后一行添加： /mnt/chunk1               #存储位置
[root@server3 ~]# vim /etc/mfs/mfshdd.cfg
/mnt/chunk2

4 、建立该目录,修改该挂载目录的所有人和所有组，这样才可以在目录中进行读写操作

root@server2 ~]# mkdir /mnt/chunk1 
[root@server2 ~]# chown mfs.mfs /mnt/chunk1/
[root@server3 ~]# mkdir /mnt/chunk2 
[root@server3 ~]# chown mfs.mfs /mnt/chunk2/

5、开启服务

[root@server2 mfs]# systemctl start moosefs-chunkserver 
[root@server3 mfs]# systemctl start moosefs-chunkserver

三、搭建客户端

1、安装客户端软件

yum install -y moosefs-client-3.0.103-1.rhsystemd.x86_64.rpm

2、编辑解析文件

 

[root@foundation79 ~]# vim /etc/hosts
172.25.79.1   server1 mfsmaster

3、创建在真机挂载数据的目录并编辑配置文件

 

[root@foundation11 3.0.103]# mfsmount 
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
[root@foundation11 3.0.103]# df
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/sda1      228287584 72557488 155730096  32% /
devtmpfs         4012764        0   4012764   0% /dev
tmpfs            4027744      156   4027588   1% /dev/shm
tmpfs            4027744     9276   4018468   1% /run
tmpfs            4027744        0   4027744   0% /sys/fs/cgroup
tmpfs             805552       12    805540   1% /run/user/1000
/dev/loop0       3704296  3704296         0 100% /var/www/html/rhel7.3
mfsmaster:9421  41920512   590464  41330048   2% /mnt/mfs

4、在客户端挂在目录（/mnt/mfs）下创建两个目录用来读写数据，因为有两个chunk，所以建立目录后默认有来两个存储端

[root@foundation11 mfs]# mkdir dir1 dir2
[root@foundation11 mfs]# ls
dir1  dir2
[root@foundation11 mfs]# mfsgetgoal dir1/
dir1/: 2
[root@foundation11 mfs]# mfsgetgoal dir2/
dir2/: 2

5、将目录dir1的存储后端改为一个（存一份，具体存在那个chunk由master决定）

[root@foundation11 mfs]# mfssetgoal -r 1 dir1/
dir1/:
 inodes with goal changed:                       1
 inodes with goal not changed:                   0
 inodes with permission denied:                  0
[root@foundation11 mfs]# mfsgetgoal dir1/
dir1/: 1

6、在目录dir1中写入数据

[root@foundation11 mfs]# cd dir1/
[root@foundation11 dir1]# cp /etc/passwd .
[root@foundation11 dir1]# ls
passwd
[root@foundation11 dir1]# mfsfileinfo passwd 
passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)  ##数据在chunk2（172.25.11.3）上存储了一份

7、给目录dir2中写入数据

[root@foundation11 mfs]# cd dir2/
[root@foundation11 dir2]# cp /etc/passwd .
[root@foundation11 dir2]# mfsfileinfo passwd 
passwd:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID) ##数据在chunk1和chunk2都备份了一份
		copy 2: 172.25.11.3:9422 (status:VALID)

8、由于文件过小，系统默认一次备份大小为60M，所以现在写入大于60M的数据在dir1中

[root@foundation11 dir1]# dd if=/dev/zero of=bigfile bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.393101 s, 533 MB/s
[root@foundation11 dir1]# ls
bigfile  passwd
[root@foundation11 dir1]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000005_00000001 / (id:5 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
	chunk 3: 0000000000000006_00000001 / (id:6 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)  ##由于截取的文件大小为200M，所以存储是分成了4段存储，由于dir1只有一个chunk备份数据，所以每一段只备份了一份

相同的对于dir2而言

[root@foundation11 dir2]# dd if=/dev/zero of=bigfile1 bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.760426 s, 276 MB/s
[root@foundation11 dir2]# ls
bigfile1  passwd
[root@foundation11 dir2]# mfsfileinfo bigfile1 
bigfile1:
	chunk 0: 0000000000000007_00000001 / (id:7 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 1: 0000000000000008_00000001 / (id:8 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000009_00000001 / (id:9 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 3: 000000000000000A_00000001 / (id:10 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)  ##每一段都存了两份

9、关闭一个chunk分别查看两个目录

[root@server2 ~]# systemctl stop moosefs-chunkserver




[root@foundation11 dir1]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		no valid copies !!!
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000005_00000001 / (id:5 ver:1)
		no valid copies !!!
	chunk 3: 0000000000000006_00000001 / (id:6 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID) ##文件不可读取,若cat查看会卡死



[root@foundation11 dir1]# cd ../dir2/
[root@foundation11 dir2]# ls
bigfile1  passwd
[root@foundation11 dir2]# mfsfileinfo bigfile1 
bigfile1:
	chunk 0: 0000000000000007_00000001 / (id:7 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 1: 0000000000000008_00000001 / (id:8 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000009_00000001 / (id:9 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 3: 000000000000000A_00000001 / (id:10 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID) ##文件可读取

若重新打开chunk文件立即恢复

[root@server2 ~]# systemctl start moosefs-chunkserver


[root@foundation11 dir2]# mfsfileinfo bigfile1 
bigfile1:
	chunk 0: 0000000000000007_00000001 / (id:7 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 1: 0000000000000008_00000001 / (id:8 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000009_00000001 / (id:9 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
	chunk 3: 000000000000000A_00000001 / (id:10 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
		copy 2: 172.25.11.3:9422 (status:VALID)
[root@foundation11 dir2]# cd ../dir1/
[root@foundation11 dir1]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)
	chunk 2: 0000000000000005_00000001 / (id:5 ver:1)
		copy 1: 172.25.11.2:9422 (status:VALID)
	chunk 3: 0000000000000006_00000001 / (id:6 ver:1)
		copy 1: 172.25.11.3:9422 (status:VALID)

四、文件恢复

对于master而言，在服务未开启时文件名为metadata.mfs。当开启服务会生成metadata.mfs.back文件

[root@server1 3.0.103]# cd /var/lib/mfs/
[root@server1 mfs]# ll
total 3612
-rw-r----- 1 mfs mfs    2876 May 17 23:55 changelog.0.mfs
-rw-r----- 1 mfs mfs     478 May 17 22:58 changelog.1.mfs
-rw-r----- 1 mfs mfs     120 May 17 23:00 metadata.crc
-rw-r----- 1 mfs mfs    3120 May 17 23:00 metadata.mfs.back
-rw-r--r-- 1 mfs mfs       8 May 17 22:38 metadata.mfs.back.1
-rw-r--r-- 1 mfs mfs       8 Nov 23 07:46 metadata.mfs.empty
-rw-r----- 1 mfs mfs 3672832 May 17 23:00 stats.mfs

若不小心删除了客户端的数据

[root@foundation11 dir1]# rm -fr passwd 
root@foundation11 dir1]# rm -fr passwd 
[root@foundation11 dir1]# ls
bigfile

恢复数据

[root@foundation11 dir1]# mkdir /mnt/mfsmeta
[root@foundation11 dir1]# cd /mnt/mfsmeta/
[root@foundation11 mfsmeta]# ls
[root@foundation11 mfsmeta]# cd
[root@foundation11 ~]# mfsmount -m /mnt/mfsmeta/ -H mfsmaster
mfsmaster accepted connection with parameters: read-write,restricte
[root@foundation11 mfsmeta]# cd trash/
[root@foundation11 trash]# ls
[root@foundation11 trash]# ls | wc -l
4097
[root@foundation11 trash]# find -name *passwd*
./004/00000004|dir1|passwd
[root@foundation11 trash]# cd 004/
[root@foundation11 004]# ls
00000004|dir1|passwd  undel
[root@foundation11 004]# mv 00000004\|dir1\|passwd undel/
[root@foundation11 004]# cd /mnt/mfs
mfs/     mfsmeta/ 
[root@foundation11 004]# cd /mnt/mfs/
[root@foundation11 mfs]# ls
dir1  dir2
[root@foundation11 mfs]# cd dir1/
[root@foundation11 dir1]# ls
bigfile  passwd
[root@foundation11 dir1]# ls ../dir2/
bigfile1  passwd

 

wuludan0217
关注
mfs配置和搭建高可用mfs
zcx1203的博客
05-21 509
配置MFS： 安装并启动MFS [root@server1 3.0.103]# ls moosefs-cgi-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.103-1.rhsystemd.x86_64.rpm moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cli-3.0....
mfs环境配置
AwesomeWang7的博客
04-18 206
环境配置，需要最少三台虚拟机 第一台虚拟机当master，后两台当客户端 vim /etc/hosts 每一台都要做解析。 [root@server1 ~]# systemctl start moosefs-master [root@server1 ~]# systemctl disable --now firewalld.service ```powershell ```powershell [root@server1 ~]# systemctl enable --now moosefs-cgis
分布式文件系统--搭建MFS文件系统及配置
weixin_56993834的博客
07-10 435
一 安装mfs文件系统及初步搭建 1在server1上安装mfs 修改解析并且启动服务 2在server2上操作 安装chunkserver 在 server2上分区 修改解析 配置文件 挂在磁盘分区并且启动服务 3 在server3上的操作 安装chunkserver 修改配置文件 4在真机上的操作 安装客户端 修改配置文件 goal设置 5 在web上访...
MFS详解（五）——MFS元数据日志服务器安装与配置
永远是少年
06-12 551
今天继续给大家介绍Linux运维相关知识，本文主要内容是MFS元数据日志服务器安装与配置。 一、元数据服务器安装 二、元数据服务器配置 三、元数据服务器启动
mfs配置高可用
Treasured ——的博客
04-10 731
实验环境必须保证每个节点有解析： 本篇博客实验环境基于上一篇： redhat 7.3 server1 172.25.14.1 mfsmaster节点 server2 172.25.14.2 从节点，就是真正储存数据的节点 server3 172.25.14.3 通server2 server4 172.25.24.4 高可用节点 真机： 172.25.14.250 cl...
MFS分布式文件系统实战（2）——搭建基本的MFS文件系统及配置
qq_42024433的博客
05-21 438
一、搭建基本的MFS系统 实验环境 172.25.2.1 mfs—master 172.25.2.2 mfs-chunk 172.25.2.3 mfs-chunk 172.25.2.5 mfs-client **sever1**: yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli moosefs-cgiserver -y 编辑本地解析 vim /etc/hosts scp /etc/host
MFS文件系统使用手册1
08-04
安装和配置元数据服务是MFS文件系统的基本步骤之一，该步骤包括安装元数据服务、配置元数据服务和启动元数据服务。元数据服务是MFS文件系统的核心组件之一，因为它负责存储文件的元数据信息。 安装元数据服务 安装...
MFS文件系统入门指南与配置详解
MFS文件系统使用手册是一份针对初学者设计的文档，由ltgz作者编写，s777整理，旨在帮助读者理解和掌握MFS（Moose File System）这款分布式文件系统的操作与管理。MFS是一种高效、可扩展的文件系统，特别适合于大规模...
MFS分布式文件系统
weixin_44717560的博客
04-06 1376
一、MFS介绍 1. mfs工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 . MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 2.mfs组成 （1）元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 （2）元数据日志服务器（MetaLogg
MFS分布式文件系统异常关闭，重新启动服务会导致失败及其解决办法
yunyuzhu的博客
12-20 2238
问题： 在部署完master后，容然后进行配置了chunk，由于有事情，就没有再进行实验， 直接就进行了关机，导致第二次开启moosefs-master，服务就起不来～～～ 报错： [root@server1 mfs]# systemctl start moosefs-master Job for moosefs-master.service failed becaus...
分布式文件系统moosefs
liaomin416100569的专栏
09-11 1379
一。原理介绍    1>简单介绍     MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：      1 管理服务器managing server (master) 用于管理协调服务器之间正常工作      2 元数据日志服务器Metalogger server（Metalogger） 管理服务器备份服务器 定时同步管理服务器的元数据      3 数据存
MFS中的两个问题（异常退出，数据回滚）
Jelly
06-06 893
1、异常退出 当chunkserver异常退出时，需要重新启动服务的处理办法： 首先卸载在server4中的客户端挂载，然后进行测试： 异常退出不能正常恢复的原因:异常退出时（/var/lib/mfs）中的metadata.mfs.back不能正常修改为metadata.mfs，故在启动时，会出现问题。 异常退出： 图 1 模拟异常退出 查看日志，里面会给出处理方式。 处理的方法：mfsmaster start -a 图 2 处理异常信息 同时也可以通过修改启动脚本，进行不正常的启动：
MFS分布式文件系统实战（3）———MooseFS异常关闭，重新启动服务会导致失败
AmourHaiti的博客
11-07 1151
问题：关闭电脑后，重新打开,发现mfsmaster服务无法启动 问题原因：因为异常关闭mfsmaster后，导致imfsmaster和moosefs-chunkservers数据不同步，以至于导致的mfsmaster服务无法启动； 解决办法1： #1查看日志，报错信息： 输入：vim /var/log/messages 报错信息： cat’t find metadata.mfs - try usi...
mfs分布式文件系统配置
weixin_41789003的博客
07-20 537
MFS是什么 MFS全称MooseFS,是文件管理系统的抽象层,将用户的数据通过master之后,存储在多个网络存储节点上面,这个过程对于用户来说时透明的,并且MFS具有很强大的网络容错能力; MFS的特性 1.是一个通用的文件系统,不需要商城应用软件提供接口,直接可以进行使用; 2.允许在线扩容,伸缩性强大; 3.可以设置任意文件的冗余程度,并且不会影响读/写性能; 4.可以在执行事件内...
4.5 mfs分布式文件系统--mfs的部署，mfs的数据恢复，mfs高可用
qq_41627390的博客
07-07 1707
一、简介 https://blog.csdn.net/weiyuefei/article/details/78214182 二、安装 server1:172.25.22.1 管理服务器 managing server (master) server2:172.25.22.2 数据存储服务器 data servers (chunkservers) server3：172.25.22...
centos环境下moosefs(mfs)文件系统的安装部署以及碰到的问题(chunkserver启动时报错wrong meta id)
u014627099的博客
03-19 2204
centos7系统，准备安装mfs3.0，部署环境服务器有：192.168.1.1（mfsmaster）192.168.1.2（mfsmetalogger）192.168.1.3（mfschunkserver）192.168.1.4（mfschunkserver）192.168.1.5（需要挂载mfs的普通服务器）（其实讲道理如果集群少的话，你就算把所有的东西部署到一个节点上也是可以的）1.首先配...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值