GFS分布式存储（有实验）

最新推荐文章于 2024-04-08 13:41:42 发布

weixin_Wangnan

最新推荐文章于 2024-04-08 13:41:42 发布

阅读量718

点赞数 1

文章标签： gfs 分布式存储

本文链接：https://blog.youkuaiyun.com/weixin_47152389/article/details/108568071

版权

一、概述

开源的分布式文件系统，由存储服务器，客户端以及NFS/Samba存储网关组成，无元数据服务器

GlusterFS特点：
扩展性和高性能
高可用
全局统一命名空间
弹性卷管理
基于标准协议
常用术语
Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
Volume：卷
FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
VFS：虚拟文件系统
Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行。
GFS的结构
模块化堆栈式架构
模块化、堆栈式的架构
通过对模块的组合，实现复杂的功能
弹性HASH算法
通过HASH算法得到一个32位的整数
划分为N个连续的子空间，每个空间对应一个Brick
弹性HASH算法的优点
保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

二、GlusterFS工作原理

在这里插入图片描述
1、客户端或应用程序通过GlusterFS的挂载点访问数据
2、linux系统内核通过VFS API收到请求并处理
3、VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
5、通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上

三、GlusterFS的卷类型

分布式卷
条带卷
复制卷
分布式条带卷
分布式复制卷
条带复制卷
分布式条带复制卷

1、分布式卷：

没有对文件进行分块处理，通过扩展文件属性保存HASH值，支持的底层文件系统有EXT3，EXT4，ZFS，XFS等

分布式卷特点：
文件分布在不同的服务器，不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护
创建分布式卷
创建一个名为dis-vol的分布式卷，文件将根据HASH分布在server1:/dir1和server2:/dir2中

gluster volume create dis-vol server1:/dir1 server2:/dir2

2、条带卷：

根据偏移量将文件分成N快，轮询的存储在每个Brick Server节点，存储大文件时，性能尤为突出，不具备冗余性，类似Raid0

特点：
数据将分割成更小快分布到快服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余
创建条带卷
创建了一名为Stripe-vol的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create stripe-vol stripe 2 transport tcp server1:/dir1 server2:/dir2

3、复制卷：

同一文件保存一份或多份副本，因为要保存副本，所以磁盘利用率较低，若多个节点上的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

特点：
卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少有两个快服务器或更多服务器
具备冗余性
创建复制卷
创建名为rep-vol的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-vol replica 2 transport tcp server1:/dir1 server2:/dir2

4、分布式复制卷：

兼顾分布式卷和复制卷的功能，用于需要冗余的情况

特点：
卷中所有服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少有两块服务器或更多服务器
具备冗余性
创建复制卷
创建名为rep-vol的分布式复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-vol replica 2 transport tcp server1:/dir1 server2:/dir2

5、分布式条带卷：

兼顾分布式卷和条带卷的功能，主要用于大文件访问处理，至少需要4台服务器

创建：
创建名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

6、分布式复制卷：

兼顾分布式卷和复制卷的功能，用于需要冗余的情况。

创建分布式复制卷
创建名为dis-rep的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数

gluster volume create dis-rep stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

四、实验

实验环境：
四台节点全部添加4块硬盘
node1 192.168.130.10
node2 192.168.130.20
node3 192.168.130.30
node4 192.168.130.40
客户端：192.168.130.50
实验步骤：首先磁盘分区，一下用脚本进行分区，也可以手动分区。修改四台节点的主机名，然后全部关闭防火墙
4台节点操作相同

[root@promote ~]# vim fdisk.sh
#!/bin/bash
echo "the disks exist list:"
fdisk -l | grep '磁盘 /dev/sd[b-z]'
echo "==========================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
        case $VAR in
sda)
        fdisk -l /dev/sda
        break ;;
sd[b-z])
        # create partitions
echo "n
        p




        w" | fdisk /dev/$VAR
        ## make filesystem
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
        #mount the system
        mkdir -p /data/${VAR}"1" &>/dev/null
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
        mount -a &> /dev/null
        break;;
quit)
        break;;

*)
        echo "wrong disk,please check again" ;;
        esac
        done
[root@node1 ~]# chmod  +x fdisk.sh

解析各节点的地址，互相通信

[root@node1 ~]# vim /etc/hosts     ## 四台都要写入 主机名要和IP地址对应
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.130.10 node1
192.168.130.20 node2
192.168.130.30 node3
192.168.130.40 node4
[root@node1 ~]# systemctl stop firewalld ## 四台服务器都关闭防火墙   清空规则没用  还是会有干扰

下面安装GFS所需软件，创建GFS下载源
所需软件在我的Windows上，现在挂载到Linux中

[root@promote ~]# yum -y install samba-client samba-common cifs-utils samba
更改window 共享为everone
[root@promote ~]# mount -t cifs -o username=wang,password=248569 //192.168.1.162/gfsrepo /mnt

[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# mkdir bak
[root@localhost yum.repos.d]# mv C* bak
[root@localhost yum.repos.d]# vim GLFS.repo
[GLFS]
name=glfs
baseurl=file:///mnt/
gpgcheck=0
enable=1

[root@localhost ~]# yum clean all
[root@localhost ~]#  yum list
[root@node1 mnt]# yum -y install glusterfs-server  glusterfs-rdma glusterfs-fuse
##  报错  出现  
错误：软件包：glusterfs-server-3.10.2-1.el7.x86_64 (glfs)
          需要：glusterfs-cli = 3.10.2-1.el7
          已安装: glusterfs-cli-3.12.2-18.el7.x86_64 (@anaconda)
              glusterfs-cli = 3.12.2-18.el7
          可用: glusterfs-cli-3.10.2-1.el7.x86_64 (glfs)
              glusterfs-cli = 3.10.2-1.el7
错误：软件包：glusterfs-3.10.2-1.el7.x86_64 (glfs)
          需要：glusterfs-libs = 3.10.2-1.el7
          已安装: glusterfs-libs-3.12.2-18.el7.x86_64 (@anaconda)

 解决方法：[root@node3 yum.repos.d]# yum remove glusterfs-libs.x86_64
之后再次执行yum -y install glusters glusterfs-server glusterfs-fuse glusterfs-rdma

[root@node1 ~]# systemctl start  glusterd.service 
[root@node1 ~]# systemctl enable glusterd.service 
[root@node1 ~]# systemctl status   glusterd.service

以上GFS环境部署好了，下面开始加入存储池资源

[root@node1 ~]# ntpdate ntp1.aliyun.com    ## 四台节点同步时间
#####添加入存储信任池只要在一台主机上添加其他节点即可
[root@node1 ~]# gluster peer probe node2
peer probe: success. 
[root@node1 ~]# gluster peer probe node3
peer probe: success. 
[root@node1 ~]# gluster peer probe node4
peer probe: success. 
[root@node1 ~]# gluster peer status    ## 查看所有节点
Number of Peers: 3

Hostname: node2
Uuid: 2cfcfa43-89ba-40ec-ba5e-e6873a40b649
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: b7c73acb-a677-45a4-9e14-6cec62f1cc86
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: d2a4f351-3e22-416b-9a4a-b6713dc6c5c7
State: Peer in Cluster (Connected)

加入成功后，下面开启客户端进行测试

[root@client ~]# systemctl stop firewalld
[root@client ~]# setenforce 0

[root@client  ~]# mount -t cifs -o username=wang,password=248569 //192.168.1.162/gfsrepo /mnt

[root@client  ~]# cd /etc/yum.repos.d/
[root@client  yum.repos.d]# mkdir bak
[root@client  yum.repos.d]# mv C* bak
[root@client  yum.repos.d]# vim GLFS.repo
[GLFS]
name=glfs
baseurl=file:///mnt/
gpgcheck=0
enable=1

[root@client ~]# yum clean all
[root@client ~]#  yum list
[root@client ~]# yum remove glusterfs-libs.x86_64
[root@client mnt]# yum -y install glusterfs-server  glusterfs-rdma glusterfs-fuse
[root@client ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.130.10 node1
192.168.130.20 node2
192.168.130.30 node3
192.168.130.40 node4

测试：条带卷
创建条带卷，任意节点上面创建

[root@node1 ~]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force ## 创建条带卷
volume create: stripe-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume list  ## 查看卷
stripe-vol
[root@node1 ~]# gluster volume info stripe-vol   ## 查看stripe-vol
 
Volume Name: stripe-vol
Type: Stripe
Volume ID: 164d4e23-51af-47b6-8b77-a8c50b267e52
Status: Created
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]# gluster volume start stripe-vol  ## 开启卷 才能挂载
volume start: stripe-vol: success

客户端验证条带卷

dd if=/dev/zero of=/demo1.log bs=1M count=40 ## 创建5个用于测试的包，每个40M
dd if=/dev/zero of=/demo2.log bs=1M count=40
 dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
 dd if=/dev/zero of=/demo5.log bs=1M count=40
[root@client ~]# mkdir -p /test/stripe-vol
[root@client ~]# mount.glusterfs node1:stripe-vol  /test/stripe-vol/ ## 这里node用哪个都可以 挂载 stripe-vol 到  /test/stripe-vol/
 
[root@client ~]#  cd /
[root@client /]# ls
bin   demo1.log  demo3.log  demo5.log  etc   lib    media  opt   root  sbin  sys   tmp  var
boot  demo2.log  demo4.log  dev        home  lib64  mnt    proc  run   srv   test  usr
[root@client /]# cp -p demo* /test/stripe-vol/   ## 将测试的文件复制到/test/stripe-vol/ 


查看node2
[root@node2 ~]# cd /data/sdc1/
[root@node2 sdc1]# ls -lh
总用量 100M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo4.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo5.log
[root@node1 ~]# cd /data/sdc1/
[root@node1 sdc1]# ls -lh
总用量 100M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo4.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo5.log

验证分布式卷

[root@node1 sdc1]# gluster volume create dis-vol  node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@node1 sdc1]# gluster volume start dis-vol 
volume start: dis-vol: success

客户端测试

[root@client /]# mount.glusterfs node1:dis-vol  /test/dis-vol/
[root@client /]# cp -p demo* /test/dis-vol/   ## 将测试的文件复制到/test/dis -vol/

[root@node1 sdc1]# cd /data/sdb1/
您在 /var/spool/mail/root 中有新邮件
[root@node1 sdb1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo4.log


[root@node2 sdc1]# cd /data/sdb1/
[root@node2 sdb1]# ls -lh
总用量 40M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo5.log

验证复制卷

[root@node1 sdb1]# gluster volume create rep-vol replica 2  node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
[root@node1 sdb1]# gluster volume start rep-vol 
volume start: rep-vol: success

客户端：

[root@client test]# mkdir -p /test/rep-vol
[root@client test]# mount.glusterfs node1:rep-vol  /test/rep-vol/
[root@client /]#  cp -p demo* /test/rep-vol/

## node 3
[root@node3 ~]# cd /data/sdb1/
[root@node3 sdb1]# ls -lh
总用量 200M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo4.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo5.log
#### node 4
[root@node4 ~]# cd /data/sdb1/
[root@node4 sdb1]# ls -lh
总用量 200M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo4.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo5.log

测试：分布式条带卷

[root@node1 sdb1]# gluster volume create dis-stripe stripe 2  node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 sdb1]# gluster volume start dis-stripe 
volume start: dis-stripe: success

客户端

[root@client /]# mkdir -p /test/dis-stripe
[root@client /]# mount.glusterfs node1:dis-stripe  /test/dis-stripe/
[root@client /]#  cp -p demo* /test/dis-stripe/

[root@node1 sdb1]# cd /data/sdd1/
[root@node1 sdd1]# ls -lh
总用量 80M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo4.log

[root@node2 sdb1]# cd /data/sdd1/
[root@node2 sdd1]# ls -lh
总用量  80M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo4.log

[root@node3 sdb1]# cd /data/sdd1/
[root@node3 sdd1]# ls -lh
总用量 20M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo5.log


[root@node4 sdb1]# cd /data/sdd1/
[root@node4 sdd1]# ls -lh
总用量 20M
-rw-r--r--. 2 root root 20M 9月  14 09:51 demo5.log

分布式复制卷

[root@node1 sdd1]# gluster volume create dis-rep replica 2  node1:/data/sde1 node2:/data/sde1 node3:/data/sde1  node4:/data/sde1  force
volume create: dis-rep: success: please start the volume to access data
[root@node1 sdd1]# gluster volume start dis-rep 
volume start: dis-rep: success

客户端：

[root@client /]# mkdir -p /test/dis-rep
[root@client /]# mount.glusterfs node1:dis-rep  /test/dis-rep/


验证
[root@node1 sdd1]# cd /data/sde1/
[root@node1 sde1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo4.log

[root@node2 sdd1]# cd /data/sde1/
[root@node2 sde1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo4.log


[root@node3 sdd1]# cd /data/sde1/
[root@node3 sde1]# ls -lh
总用量 120M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo5.log
-rw-r--r--. 2 root root 40M 9月  14 10:36 demo6.log
-rw-r--r--. 2 root root 40M 9月  14 10:37 demo7.log

[root@node4 sdb1]# cd /data/sde1/
[root@node4 sde1]# ls -lh
总用量 120M
-rw-r--r--. 2 root root 40M 9月  14 09:51 demo5.log
-rw-r--r--. 2 root root 40M 9月  14 10:36 demo6.log
-rw-r--r--. 2 root root 40M 9月  14 10:37 demo7.log

破坏测试：
关闭node2
除了复制卷其他多多少少都会出现问题
条带卷全军覆没，分布式存在挂的节点上的数据没有了
访问控制

[root@node1 sde1]# gluster volume set dis-rep auth.reject 192.168.130.50  ## 禁止 192.168.130.50 使用dis-rep卷（黑名单）
volume set: success
### 客户端 挂载这个卷失败
[root@client /]# mount.glusterfs node1:dis-rep  /test/dis-rep/
Mount failed. Please check the log file for more details.
[root@node1 sde1]# gluster volume set dis-rep auth.allow  192.168.130.50  ## 仅允许 192.168.130.50 使用dis-rep卷（白名单）