MFS分布式对象存储

1.简介

​ 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。

应用场景

适用于需要海量数据存储

解决方案：分布式存储，构建一个巨大的存储空间

目标：使用一个软件对多台服务进行统一管理配置方案

多台服务器对外表现为一个整体，是一整个集群

MFS分布式存储的优点：

• Free(GPL)通用文件系统
• 可以在线扩容，体系架构可伸缩性极强。
• 部署简单
• 高可用，可设置任意的文件冗余程度（提供比raid10更高的冗余级别，而绝对不会影响读或者写的性能，只会加速）
• 可回收在指定时间内删除的文件（“回收站”提供的是系统级别的服务，提供类似即时回滚特性
• 提供了类似于EMC，IBM等商业存储的snapshot（快照）特性。（可以对整个文件甚至在正在写入的文件创建文件的快照）

2.MFS工作原理和设计架构

角色	角色作用
管理服务器managing server (master)	负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复、多节点拷贝
元数据日志服务器Metalogger server（Metalogger）	负责备份master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs ，以便于在master server 出问题的时候提供数据找回功能
数据存储服务器data servers (chunk servers)	负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输.
客户机挂载使用client computers	通过fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地unix 文件系统使用一样的效果.

MFS的读数据过程

1. 当客户端需要数据的时候，首先向master server发起查询请求
2. 管理服务器检索自己的数据，获取到数据所在的可用数据服务器位置ip|port|chunkid
3. 管理服务器将数据服务器的地址发送给客户端
4. 客户端向具体的数据服务器发起数据获取请求
5. 数据服务器将数据发送给客户端

MFS的写数据过程

1. 当客户端有数据写需求的时候，首先向管理服务器提供文件元数据信息请求存储地址（元数据信息如：文件名|大小|份数等）
2. 管理服务器根据写文件的元数据信息，到数据服务器创建新的数据块
3. 数据服务器返回创建成功的消息
4. 管理服务器将数据服务器的地址返回给客户端（客户端的ip地址|端口号|chunkid）
5. 客户端向数据服务器写数据
6. 数据u服务器返回给 客户端写成功的消息
7. 客户端将此次写完成结束信号和一些信息发送到管理服务器来更新文件的长度和最后修改时间

MFS的修改或删除文件过程

1. 客户端有删除操作的时候，首先向master发送删除信息
2. master定位到相应元数据信息进行删除，并将chunk server上块的删除操作加入队列异步清理
3. 响应客户端删除成功的信号MFS修改文件内容的过程客户端有修改文件内容时，首相向master发送操作信息
4. master申请新的块给.swp文件，客户端关闭文件后，会向master发送关闭信息
5. master会检测内容是否有更新，若有，那就申请新的块存放更改后的文件，删除原有块和.swp文件块
6. 若无，则直接删除.swp文件块

MFS重命名文件的过程

1. 客户端重命名文件时，会向master发送操作信息
2. master直接修改元数据信息中的文件名
3. 返回重命名完成信息

MFS遍历文件的过程

1. 遍历文件不需要访问chunk server，当有客户端遍历请求的时候，会向master发送操作信息
2. master返回相应元数据信息
3. 客户端接收到信息后显示

注：

• Master记录着管理信息，比如：文件路径|大小|存储的位置(ip,port,chunkid)|份数|时间等，元数据信息存在于内存中，会定期写入metadata.mfs.back文件中，定期同步到metalogger；操作实时写入changelog.*.mfs，实时同步到metalogger server中。master启动将metadata.mfs载入内存，重命名为metadata.mfs.back文件。
• 文件以chunk大小存储，每chunk最大为64M，小于64M的，该chunk的大小即为该文件大小（验证实际chunk文件略大于实际文件），超过64M的文件将被切分，以每一份（chunk）的大小不超过64M为原则；块的生成遵循规则：目录循环写入(00-FF 256个目录循环，step为2)、chunk文件递增生成、大文件切分目录连续。
• Chunkserver上的剩余存储空间要足够大，新的数据才会被允许写入，否则，你会看到No space left on device的提示，实际中，测试发现当磁盘使用率达到95%左右的时候，就已经不行写入了，当时可用空间为1.9GB。
• 文件可以有多份copy，当goal为1时，文件会被随机存到一台chunkserver上，当goal的数大于1时，copy会由master调度保存到不同的chunkserver上，goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去存。

3.MFS安装部署配置实验

准备环境

IP	身份
192.168.88.10	Client server
192.168.88.20	Master server
192.168.88.30	Metalogger server
192.168.88.40	Chunk server 1
192.168.88.50	Chunk server 2
192.168.88.60	Chunk server 3
192.168.88.70	Chunk server 4

Master server

安装

#安装依赖
yum -y install gcc zlib-devel
#添加用户不进行登录
useradd -r -s /sbin/nologin mfs
#解压源码包
tar -xf moosefs-3.0.101-1.tar.gz
#切换目录
cd moosefs-3.0.101
#进行预编译
./configure --prefix=/usr/local/mfs --with-default-u