GFS分布式文件系统（理论+实操）

一、GlusterFS

（一）、GFS概念

• Gluster File System，开源的分布式文件系统，是Scale存储的核心，能够处理千数量级的客户端。在传统的解决方案中，Glusterfs能够灵活的结合物理的，虚拟的和云资源去体现高可用和企业级的性能存储。
• 由存储服务器（Brick Server）、客户端以及NFS/Samba 存储网关组成
• 无元数据服务器

（二）、GlusterFS特点

• 扩展性和高性能
• 高可用性
• 全局统一命名空间
• 弹性卷管理
• 基于标准协议

（三）、常用术语

1、Brick：GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
2、Volume：卷
3、FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
4、VFS：虚拟文件系统
5、Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行。

（四）、GFS的结构

• 模块化堆栈式架构
• 模块化、堆栈式的架构
• 通过对模块的组合，实现复杂的功能

（五）、弹性HASH算法

• 通过HASH算法得到一个32位的整数
• 划分为N个连续的子空间，每个空间对应一个Brick
• 弹性HASH算法的优点
• 保证数据平均分布在每一个Brick中
• 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

（六）、GlusterFS工作原理（工作流程）

1、客户端或应用程序通过GlusterFS的挂载点访问数据
2、linux系统内核通过VFS API收到请求并处理
3、VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
5、通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上

（七）、GFS卷类型

• 分布式卷
• 条带卷
• 复制卷
• 分布式条带卷
• 分布式复制卷
• 条带复制卷
• 分布式条带复制卷

1、分布式卷：

没有对文件进行分块处理
通过扩展文件属性保存HASH值
支持的底层文件系统有ext3、ext4、ZFS、XFS等

特点：
文件分布在不同的服务器,不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护

创建命令：

gluster volume create dis-volume server1:/dir1 server2:/dir2

2、条带卷

根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
存储大文件时，性能尤为突出
不具备冗余性,类似Raid0

特点：
数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余

创建命令：

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3、复制卷

同一文件保存一份或多分副本
复制模式因为要保存副本，所以磁盘利用率较低
多个节点上的存储空间不一致，那么将按照木桶效应取最低节点的容量作为该卷的总容量

特点：
卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少由两个块服务器或更多服务器
具备冗余性

创建命令：

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

4、分布式条带卷

兼顾分布式卷和条带卷的功能
主要用于大文件访问处理
至少最少需要 4 台服务器

创建命令：

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

5、分布式复制卷

兼顾分布式卷和复制卷的功能
用于需要冗余的情况下

创建命令：

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

二、GFS分布式文件系统部署步骤

（一）、环境准备：

一台centos7虚拟机，IP地址为：192.168.200.40，主机名为：node1，添加4块磁盘，分别为3G,4G,5G,6G大小

一台centos7虚拟机，IP地址为：192.168.200.50，主机名为：node2，添加4块磁盘，分别为3G,4G,5G,6G大小

一台centos7虚拟机，IP地址为：192.168.200.60，主机名为：node3，添加3块磁盘，分别为3G,4G,5G大小

一台centos7虚拟机，IP地址为：192.168.200.70，主机名为：node4，添加3块磁盘，分别为3G,4G,5G大小

一台centos7虚拟机，IP地址为：192.168.200.80，主机名为：client，当做测试机使用

将要使用的卷名称和信息

卷名称	卷类型	空间大小/GB	Brick
dis	分布式卷	12	node1(/e6) node2(/e6)
stripe-volume	条带卷	10	node1(/d5) node2(/d5)
rep-volume	复制卷	5	node3(/d5) node4(/d5)
dis-stripe	分布式条带卷	12	node1(/b3) node2(/b3) node3(/b3) node4(/b3)
dis-rep	分布式复制卷	8	node1(/c4) node2(/c4) node3(/c4) node4(/c4)

关闭防火墙

systemctl stop firewalld
setenforce 0

修改主机名，配置/etc/hosts文件

#以Node1节点为例：
hostnamectl set-hostname node1
su

echo "192.168.200.40 node1" >> /etc/hosts     #做IP与主机名映射
echo "192.168.200.50 node2" >> /etc/hosts
echo "192.168.200.60 node3" >> /etc/hosts
echo "192.168.200.70 node4" >> /etc/hosts

（二）、添加磁盘，所有主机添加步骤都相同（除了client客户机），格式化并挂载

虚拟机设置----添加----硬盘，下一步----SCSI（推荐），下一步----创建新的虚拟磁盘，下一步----最大磁盘大小（自定义），勾选将虚拟磁盘拆分成多个文件，下一步----完成，相同方法添加其他的磁盘（除了client客户机），磁盘添加后需要重启一下才能识别到磁盘

1、创建磁盘分区，仅以node1为例，其他node主机配置相同

方法一：手动分区

[root@node1 ~]# fdisk -l	'//查看磁盘是否添加成功'
[root@node1 ~]# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。

Device does not contain a recognized partition table
使用磁盘标识符 0x5fae534e 创建新的 DOS 磁盘标签。

命令(输入 m 获取帮助)：n	'//创建分区'
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): p	'//创建主分区'
分区号 (1-4，默认 1)：	'//回车，默认分区号'
起始 扇区 (2048-6291455，默认为 2048)：	'//回车，默认扇区大小'
将使用默认值 2048
Last 扇区, +扇区 or +size{
   
   K,M,G} (2048-6291455，默认为 6291455)：	'//回车，默认主分区大小'
将使用默认值 6291455
分区 1 已设置为 Linux 类型，大小设为 3 GiB

命令(输入 m 获取帮助)：w	'//保存分区信息'
The partition table has been altered!

Calling ioctl() to re-read partition table.
正在同步磁盘。
[root@node1 ~]# ll /dev/ | grep sd	'//查看刚刚格式化的磁盘是否成功/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1'
'//刚刚fdisk -l查看，有/dev/sdb,/dev/sdc,/dev/sdd,/dev/sde四个磁盘，用相同方法格式化其他的磁盘和其他node主机的磁盘'

格式化磁盘，其他node节点相同操作

[root@node1 ~]# mkfs.xfs /dev/sdb1	'//格式化分区'
[root@node1 ~]# mkfs.xfs /dev/sdc1
[root@node1 ~]# mkfs.xfs /dev/sdd1
[root@node1 ~]# mkfs.xfs /dev/sde1

创建挂载点进行挂载，其他node节点相同操作

[root@node1 ~]# mkdir -p /data/sdb1 /data/sdb2 /data/sdb3 /data/sdb4
[root@node1 ~]# vim /etc/fstab 	'//末行添加下方四个自动挂载信息'
/dev/sdb1       /data/sdb1                       xfs    defaults        0 0
/dev/sdc1       /data/sdb2                       xfs    defaults        0 0
/dev/sdd1       /data/sdb3                       xfs    defaults        0 0
/dev/sde1       /data/sdb4                       xfs    defaults        0 0

4、重启服务器

[root@node1 ~]# reboot
[root@node1 ~]# df -Th	'//重启后查看自动挂载情况，会产生如下信息'
[root@localhost opt]#df
文件系统          1K-块    已用     可用 已用% 挂载点
......
/dev/sdb1       3134464   32944  3101520    2% /data/sdb1
/dev/sdc1       4183040   32944  4150096    1% /data/sdc1
/dev/sdd1       5231616   32944  5198672    1% /data/sdd1
/dev/sde1       6280192   32944  6247248    1% /data/sde1

方法二：自动分区脚本

vim /opt/fdisk.