MFS

搭建基本的MFS系统 文章目录1.实验环境2.搭建基本的MFS系统 1.实验环境 主机ip 功能 sfj1(172.25.69.201) mfs master 节点 sfj2(172.25.69.202) mfs chunk 节点 sfj3(172.25.69.203) mfs chunk 节点 真机(172.25.69.250) mfs client 客户端 2.搭建基本的MFS系统 ... 阅读详情

系统版本:

Red Hat Enterprise Linux Server release 7.3 (Maipo)

解析(保证所有节点主机一致):

[root@server1 ~]# cat /etc/hosts
172.25.254.1 mfsmaster server1  #mfsmaster是各节点调度时用的,必须存在
172.25.254.2 server2
172.25.254.3 server3
172.25.254.4 server4
172.25.254.5 server5


 server1:

#安装master端软件:

[root@server1 ~]# yum install -y  moosefs-master-3.0.100-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.100-1.rhsystemd.x86_64.rpm moosefs-cgi-3.0.100-1.rhsystemd.x86_64.rpm

[root@server1 ~]# systemctl start moosefs-master  #开启master服务

#打开服务后,9419端口是MFS二进制日志服务,9420是chunk端服务,9421是master主服务

#所有数据文件都在/var/lib/mfs/下

[root@server1 ~]# systemctl start moosefs-cgiserv

#这个服务在9425端口上,打开之后可以在浏览器通过访问server1主机的9425端口看到MFS服务信息

 

server2 | server3:

#增加一块硬盘:

#对新硬盘分区:

fdisk /dev/sdb-->输入n-->一路回车将所有空间给sdb1分区-->输入w保存退出

#格式化新建的分区:

mkfs.xfs /dev/sdb1

#安装chunk端软件:

yum install -y moosefs-chunkserver-3.0.100-1.rhsystemd.x86_64.rpm

server2:

[root@server2 ~]# mkdir /mnt/chunk1

#查看新分区uuid:

[root@server2 ~]# blkid
/dev/sda1: UUID="3ec6f637-accf-418a-9dd3-344ba908cc39" TYPE="xfs"
/dev/sda2: UUID="ad1676cb-356b-4860-b4bb-ca72520c1130" TYPE="swap"
/dev/sda3: UUID="dc68bedf-6acc-4acb-8889-3f69c8944008" TYPE="xfs" /dev/sdb1: UUID="61360a55-7d66-44d0-931a-71bc5218650b" TYPE="xfs"

#写入fstab,开机自动挂载:

[root@server2 ~]# vim /etc/fstab

UUID="61360a55-7d66-44d0-931a-71bc5218650b" /mnt/chunk1 xfs defaults 0 0

[root@server2 ~]# mount -a  #挂载所有

[root@server2 ~]# chown mfs.mfs /mnt/chunk1/

[root@server2 ~]# echo "/mnt/chunk1" >> /etc/mfs/mfshdd.cfg

[root@server2 ~]# systemctl start moosefs-chunkserver

server3:

[root@server3 ~]# mkdir /mnt/chunk2

[root@server3 ~]# vim /etc/fstab

UUID="f16428a1-d587-4924-accc-d330c27fd747"     /mnt/chunk2     xfs     defaults        0 0

[root@server3 ~]# mount -a

[root@server3 ~]# chown mfs.mfs /mnt/chunk2/

[root@server3 ~]# echo "/mnt/chunk2" >> /etc/mfs/mfshdd.cfg

[root@server3 ~]# systemctl start moosefs-chunkserver

#访问172.25.254.1:9245查看新增加的两个chunk端:

客户端:

系统:Red Hat Enterprise Linux Server release 7.0 (Maipo)

IP:172.25.254.100

HOSTNAME:station.example.com

#安装客户端软件:

[root@station ~]# yum install -y moosefs-client-3.0.100-1.rhsystemd.x86_64.rpm

[root@station ~]# vim /etc/hosts

172.25.254.1 mfsmaster

[root@station ~]# mkdir /mnt/mfs

[root@station ~]# vim /etc/mfs/mfsmount.cfg

/mnt/mfs

#挂载到客户端:

[root@station ~]# mfsmount
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root

[root@station ~]# df

mfsmaster:9421 16754688 590464 16164224 4% /mnt/mfs

[root@station ~]# cd /mnt/mfs/

[root@station mfs]# mkdir dir1
[root@station mfs]# mkdir dir2

#MFS的工作原理是在客户端/mnt/mfs下新建的文件,通过调度器server1默认将数据分别在server2和server3上各保存一份。即使server2或者server3其中一个挂了另一个存储节点还在工作,就不会造成数据丢失

[root@station mfs]# mfssetgoal -r 1 dir1/       #修改dir1存储规则,只在一个存储节点上存数据,dir2保持默认不变

[root@station mfs]# cp /etc/passwd dir1/
[root@station mfs]# cp /etc/passwd dir2/

#查看dir1下的passwd在哪个存储节点上:

[root@station mfs]# mfsfileinfo dir1/passwd
dir1/passwd:
chunk 0: 0000000000000001_00000001 / (id:1 ver:1)copy 1: 172.25.254.3:9422 (status:VALID)
[root@station mfs]# mfsfileinfo dir2/passwd
dir2/passwd:
chunk 0: 0000000000000002_00000001 / (id:2 ver:1)copy 1: 172.25.254.2:9422 (status:VALID) copy 2: 172.25.254.3:9422 (status:VALID)

在server3(172.25.254.3)主机上执行mfschunkserver stop停止chunk服务(与systemctl stop moosefs-chunkserver效果ip一样)

#再次查看文件信息:

[root@station mfs]# mfsfileinfo dir1/passwd
dir1/passwd:
chunk 0: 0000000000000001_00000001 / (id:1 ver:1)no valid copies !!!
[root@station mfs]# mfsfileinfo dir2/passwd
dir2/passwd:
chunk 0: 0000000000000002_00000001 / (id:2 ver:1)copy 1: 172.25.254.2:9422 (status:VALID)

#dir1下的passwd文件ls还可以看到,但已经无法查看、编辑了

#dir2下的passwd文件可以正常使用

在server3上重新开启chunk服务mfschunkserver start

[root@station mfs]# mfsfileinfo dir1/passwd
dir1/passwd:
chunk 0: 0000000000000001_00000001 / (id:1 ver:1)copy 1: 172.25.254.2:9422 (status:VALID)
[root@station mfs]# mfsfileinfo dir2/passwd
dir2/passwd:
chunk 0: 0000000000000002_00000001 / (id:2 ver:1)copy 1: 172.25.254.2:9422 (status:VALID) copy 2: 172.25.254.3:9422 (status:VALID)

#现在dir1下的passwd文件又可以正常使用了

#整个过程dir2下的passwd未受影响

在MFS中大文件的存储方式:

#进入dir1截取一个100M的文件bigfile:

[root@station mfs]# cd dir1/
[root@station dir1]# dd if=/dev/zero of=bigfile bs=1M count=100

[root@station dir1]# mfsfileinfo bigfile
bigfile:
chunk 0: 0000000000000003_00000001 / (id:3 ver:1)copy 1: 172.25.254.3:9422 (status:VALID)
chunk 1: 0000000000000004_00000001 / (id:4 ver:1)copy 1: 172.25.254.2:9422 (status:VALID)

#dir1目录只在一个存储节点上存数据,但由于bigfile是大文件,因此bigfile文件被分成了两半server2和server3各存一半

#进入dir2截取一个100M的文件bigfile:

[root@station dir1]# cd /mnt/mfs/dir2/
[root@station dir2]# dd if=/dev/zero of=bigfile bs=1M count=100

[root@station dir2]# mfsfileinfo bigfile
bigfile:
chunk 0: 0000000000000005_00000001 / (id:5 ver:1)copy 1: 172.25.254.2:9422 (status:VALID) copy 2: 172.25.254.3:9422 (status:VALID)
chunk 1: 0000000000000006_00000001 / (id:6 ver:1)copy 1: 172.25.254.2:9422 (status:VALID) copy 2: 172.25.254.3:9422 (status:VALID)

#对于大文件,MFS默认是分卷存储的,server2和server3上各存储bigfile文件的一部分

恢复误删文件:

[root@station dir1]# rm -rf passwd 

[root@station dir1]# ls
bigfile

[root@station ~]# mkdir /mnt/mfsmeta

[root@station ~]# mfsmount -m /mnt/mfsmeta/

#可以使用mount看到/mnt/mfsmeta已被挂载:

[root@station ~]# mount

          ...

mfsmaster:9421 on /mnt/mfsmeta type fuse.mfsmeta (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)

[root@station ~]# cd /mnt/mfsmeta/
[root@station mfsmeta]# ls
sustained trash

[root@station mfsmeta]# cd trash/
[root@station trash]# ls
000 13C 278 3B4 4F0 62C 768 8A4 9E0 B1C C58 D94 ED0
001 13D 279 3B5 4F1 62D 769 8A5 9E1 B1D C59 D95 ED1

          ...

130  26C  3A8  4E4  620  75C  898  9D4  B10  C4C  D88  EC4  undel

#查找删除的passwd在哪个目录下:

[root@station trash]# find -name *passwd*
./004/00000004|dir1|passwd

#将查找到的文件放到undel下即可完成恢复:

[root@station trash]# mv ./004/00000004\|dir1\|passwd undel/

#现在查看dir1目录,文件已恢复并可以正常使用:

[root@station trash]# ls /mnt/mfs/dir1/
bigfile passwd
[root@station trash]# file /mnt/mfs/dir1/passwd
/mnt/mfs/dir1/passwd: ASCII text

MFS分布式文件系统存储之文件的删除恢复 MFS分布式文件系统 阅读详情

相关推荐

linux中的mfs文件系统

MFS 1.什么是MFS文件系统: MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。 2.MooseFS文件系统结构包括一下四种角色: (1)管理服务器master 管理服务器:负责各个数据存储服务的管理文件读写调度,文件空间回收以及恢复,多节点拷贝 (2)元数据日志服务器: 负责备份master服务器的变化日志文件,...

qwqq233的博客 927

Linux中MFS分布式文件系统(实战教程)全网最详细

MFS(MooseFS)是一个分布式文件系统,主要由元数据服务器(Master)、元数据日志服务器(MetaLogger)、数据存储服务器(Chunk Server)和客户端组成。其工作流程包括客户端向Master请求数据位置,Master返回Chunk Server的信息,客户端再向Chunk Server请求数据。写入流程则涉及客户端请求写入、Master与Chunk Server交互创建分块、客户端写入数据并进行同步。MFS通过数据分块和多副本机制提高了系统的可靠性和性能。

博客之路,前途漫漫 3927

嵌入式软件面试常见问题及答案

干了多年的嵌入式,被面试过,也面过不少新人,下面这些是面试中很常见的一些问题及答案,答案可以根据自己的经验自己思考下。--持续补充并更新

weixin_37553721的博客 6027

MFS总结

一、MFS介绍:Distinctive features of MooseFS are:MooseFS优越特性如下:- higher reliability (data can be stored in several copies on separate computers)高可用性(数据可以存储在多个机器上的多个副本)- dynamically expanding disk

流云随风 1万+

DaVinciCFG实战:从ARXML配置到ADC代码生成全解析

本文详细解析了使用DaVinciCFG工具进行ADC模块配置的全过程,从ARXML文件处理到代码生成与集成。重点介绍了关键参数配置、ARXML语法规则、常见错误排查及代码优化技巧,帮助开发者掌握AUTOSAR架构下ADC驱动开发,提升汽车电子系统的可靠性。

f9g0h的博客 381

ROS2与Gazebo协同实现多机器人避障仿真

本文详细介绍了如何利用ROS2与Gazebo协同搭建多机器人避障仿真环境。通过创建SDF机器人模型、编写多机器人启动文件以及集成基础避障算法,构建了一个低成本、高效率的虚拟测试平台,为AGV编队、机器人集群等项目的算法验证与迭代提供了完整解决方案。

weixin_29065659的博客 299

MFS架构图

以上是完整的搭建 MetaLogger Server 的步骤和每一条命令的输出。从安装服务、复制配置文件、修改配置文件到启动和停止服务,确保每一步都正确执行以保证 Metalogger 正常运行。

dfvb1的博客 2164

CondaHTTPError: HTTP 404 NOT FOUND for url

用conda创建新环境时出现问题了。

qq_40713201的博客 1270

MFS——如何恢复挂掉的mfsmaster服务

需要了解的知识: 在正常关闭的时候,/var/lib/mfs目录中会产生metadata.mfs这个文件,这个文件是开启mfsmaster服务时必备的文件。如果没有该文件,那么mfsmaster服务也就起不来。 在正常开启的时候,/var/lib/mfs目录中就会产生metadata.mfs.back这个文件。 1、正常关闭mfsmaster服务(利用stop或者systemed命令) [ro...

试试看吧。 1498

Unity工业数据可视化:基于ModbusTCP的实时数据通信实战

本文详细介绍了在Unity中实现工业数据可视化的核心方法,重点讲解了基于ModbusTCP协议与PLC等工业设备进行实时数据通信的实战流程。内容涵盖NModbus库的集成、Modbus Slave模拟器的使用、TCP连接的建立与多线程安全通信、数据读写与解析,以及如何将实时数据驱动3D场景,为构建工业数字孪生与监控系统提供完整解决方案。

ol7890123的博客 555

SpringBoot中使用FastJson解析Json数据

场景 1.SpringBoot默认配置的是Jackson。 2.项目搭建专栏: https://blog.youkuaiyun.com/BADAO_LIUMANG_QIZHI/column/info/35688 实现 引入fastJson的依赖 <!-- fastjson的依赖 --> <dependency> <groupId>com.alibab...

BADAO_LIUMANG_QIZHI的博客 4140

MFS(一)---mfs详解与部署

mfs详解与部署一、MFS详解分布式原理:MFS原理:MFS文件系统的组成MFS读取数据的处理过程:MFS写入数据的处理过程:MFS的删除文件过程MFS修改文件内容的过程MFS重命名文件的过程MFS遍历文件的过程二、MFS的部署主机准备yum源master配置chunk server配置client客户端配置三、初步使用mfs 一、MFS详解 分布式原理: 分布式文件系统(Distributed File Systemm)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连

qq_35887546的博客 5298

【YOLOv11改进- 主干网络】YOLOv11+RepViT: 从ViT的角度重新审视Mobile的CNN助力YOLOv11有效涨点;

本文给大家带来的改进内容是在YOLOv11中更换主干网络为RepViT,助力YOLOv11有效涨点,论文通过集成轻量级 ViT 的高效架构设计,逐步增强了标准轻量级 CNN(即 MobileNetV3)的移动友好性。这最终产生了一个新的纯轻量级 CNN 系列的主干网络。

qq_41304809的博客 790

mfs配置和搭建高可用mfs

配置MFS: 安装并启动MFS [root@server1 3.0.103]# ls moosefs-cgi-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.103-1.rhsystemd.x86_64.rpm moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cli-3.0....

zcx1203的博客 562

eCognition易康操作教程(二):多尺度分割基于多光谱数据构建规则集,结合DSM高程数据提取建筑物、树木和绿地

一、数据 数据来源:教程中的实验数据,共包含RGB三个波段,还有数字地表模型(以下简称DSM)文件。 图一 RGB影像 数据特征:数据范围较小,要素种类少,仅包含较多的建筑和大片的绿地。由于建筑的房顶使用的材料和材料颜色不同,所以建筑的光谱特征没有规律,是不连续的特征。而绿地的光谱特征则十分容易分辨。 但是建筑通常具有规则的形状,而且建筑相比于周围其他要素...

蒹葭苍苍 8306

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

MFS Analyzer 2.0 手册

1.    简介MFS Analyzer是一款播放和分析CMMB(中国移动多媒体广播)的MFS文件的工具。支持两种模式的MFS文件,提供多种详细分析和音视频播放的功能。2.    主要功能 本软件提供的主

MFS Analyzer 2主页 2701

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

MFS集群部署

MFS分布式文件系统搭建MFS背景mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。   MooseFS[MFS]是一个具有容错性的网络分布式文件系...

从删库到跑路吧~ 2773

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

MFS详解(一)——MFS介绍

今天继续给大家介绍Linux运维相关知识,本文主要内容是MFS介绍。 一、MFS系统简介 二、MFS系统优点 三、MFS系统缺点

永远是少年 1万+

MFS部署及运维

公司使用moosefs做图片存储,最近学习了一下,在此小小总结一下,主要分以下几部分: MFS概述、特性和新版改进 MFS 工作原理和设计架构 MFS的安装、部署、配置 MFS的高级特性 MFS的性能测试 MFS集群的维护 MFS的常见问题和建议对策 一、MFS概述、特性和新版改进 MooseFS是一个分布式存储的框架,其具有如下特性: Free(GPL) 通用文件系统,...

java小兵 875

MFS(moosefs)搭建

一、简介: mfs是一个分布式文件系统,直白点讲就是linux的共享文件夹。 本篇主要介绍mfs的部署安装,具体原理大家可以上官网进行更多的了解: https://moosefs.com 环境介绍: 192.168.20.11 -----mfsmaster && mfschunkserver 192.168.20.12 && 192.168.20.13 ...

hszxd479946的博客 1792

MFS分布式文件系统实战(二)——搭建基本的MFS文件系统及配置

文章目录一、搭建基本的MFS系统1.1 YUM源安装配置MooseFS系统 一、搭建基本的MFS系统 实验环境 主机名(ip) 角色 server1(172.25.2.1) mfs-master server2(172.25.2.2) mfs-chunk server3(172.25.2.3) mfs-chunk server5(172.25.2.5) mfs-clie...

ranrancc_的博客 1009

搭建 MFS 分布式文件系统

一、MFS 简介: MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。 (1)优势: 1、高可靠(数据的多个拷贝被存储在不同的计算机上); 2、通过附加新的计算机或者硬盘可以实现容量的动态扩展; 3、删除的文件可以根据一个可配置的时间周期进行保留(一个文件系统级别的回收站); 4、不受访问和写入影响的文件连贯快照。 (2)体系...

weixin_45409371的博客 6193

MFS详解(四)——MFS管理服务器安装与配置

今天继续给大家介绍Linux运维相关知识,本文主要内容是MFS管理服务器配置。 一、MFS实战环境介绍 二、MFS管理服务器安装 三、MFS配置文件设置 四、MFS服务开启

永远是少年 1050

MFS文件系统

MFS MFS文件系统 MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。 MooseFS文件系统结构 管理服务器master 管理服务器:负责各个数据存储服务的管理文件读写调度,文件空间回收以及恢复,多节点拷贝 元数据日志服务器: 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,...

dzh1125641239的博客 757
上一篇: Docker
下一篇: hadoop
ToryCode
博客等级 码龄3年 44粉丝 130原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值