BeeOND部署文档

BeeOND部署文档

• 1、安装beeOND
• 2、配置安装目录及ssh免密
• 3、停止beeOND
• 4、其他工具使用
• 5、性能测试

beeOND是beeGFS为基础一种快速组建beegfs机器的一个工具，主要用于GPU节点的ssd硬盘，组建成一个高速的beegfs存储池（和原beegfs存储挂载相互不受影响）

1、安装beeOND

所有的节点配置yum源，在线安装,，会同时安装beegfs

[root@beeond1 ~]# cat /etc/yum.repos.d/beegfs.repo

[beegfs]

name=BeeGFS 7 (RHEL7)

If you have an active BeeGFS support contract, use the alternative URL below

to retrieve early updates. Replace username/password with your account for

the BeeGFS customer login area.

baseurl=https://www.beegfs.io/release/beegfs_7_1/dists/rhel7

gpgkey=https://www.beegfs.io/release/beegfs_7_1/gpg/RPM-GPG-KEY-beegfs

gpgcheck=0

enabled=1

[root@beeond1 ~]# yum install beeond -y

2、配置安装目录及ssh免密

• nodefile：包含所有运行BeeOND实例主机名的文件，所有在这个文件上的主机都会成为这个新的文件系统实例的client以及server
• /data/beeond：BeeOND实例在每个节点上存储原始数据的路径（每台机都要）
• /mnt/beeond：BeeOND实例在每个节点的挂载点（每台机都要）

将所有的节点配置ssh免密

nodefile只需要在其中一个节点上（注意nodefile只能使用ip或者主机名，不能同时使用，否则会有问题，默认meta、mgmtd都会部署在nodefile里面的第一台机）

使用命令启动一个beeond实例，（-m 2表示部署两个meta节点）

beeond start -n nodefile -d /data/beeond -c /mnt/beeond -m 2

[root@beeond1 ~]# beeond start -n nodefile -d /data/beeond -c /mnt/beeond -m 2

INFO: Using status information file: /var/tmp/beeond.tmp

INFO: Checking reachability of host beeond1

INFO: Checking reachability of host beeond2

INFO: Checking reachability of host beegfs-mgmtd

INFO: Number of storage servers automatically set to 3

INFO: Starting beegfs-mgmtd processes

INFO: Management daemon log: /var/log/beegfs-mgmtd_20220224-110319.log

INFO: Starting beegfs-mgmtd on host: beeond1

INFO: Starting beegfs-storage processes

INFO: Storage server log: /var/log/beegfs-storage_20220224-110319.log

INFO: Starting beegfs-storage on host: beeond1

INFO: Starting beegfs-storage on host: beeond2

INFO: Starting beegfs-storage on host: beegfs-mgmtd

INFO: Starting beegfs-meta processes

INFO: Metadata server log: /var/log/beegfs-meta_20220224-110319.log

INFO: Starting beegfs-meta on host: beeond1

INFO: Starting beegfs-meta on host: beeond2

INFO: Starting beegfs-client processes

INFO: Client log: /var/log/beegfs-client_20220224-110319.log

INFO: Starting beegfs-client on host: beeond1

INFO: Starting beegfs-client on host: beeond2

INFO: Starting beegfs-client on host: beegfs-mgmtd

[root@beeond1 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 899M 0 899M 0% /dev

tmpfs 910M 0 910M 0% /dev/shm

tmpfs 910M 9.7M 901M 2% /run

tmpfs 910M 0 910M 0% /sys/fs/cgroup

/dev/mapper/centos-root 17G 1.7G 16G 10% /

/dev/sdb 20G 303M 19G 2% /data/beeond

/dev/sda1 1014M 190M 825M 19% /boot

tmpfs 182M 0 182M 0% /run/user/0

beegfs_ondemand 57G 2.4G 54G 5% /mnt/beeond

3、停止beeOND

beeond stop -n nodefile （后面可以不用加参数，如果后面加了-d的参数，会把所有的数据清除掉）

[root@beeond1 ~]# beeond stop -n nodefile

INFO: Using status information file: /var/tmp/beeond.tmp

INFO: Checking reachability of host beeond1

INFO: Checking reachability of host beeond2

INFO: Checking reachability of host beegfs-mgmtd

INFO: Unmounting file system on host: beeond1

/opt/beegfs/sbin/…/lib/beegfs-ondemand-stoplocal: line 83: fuser: command not found

INFO: Unmounting file system on host: beeond2

/opt/beegfs/sbin/…/lib/beegfs-ondemand-stoplocal: line 83: fuser: command not found

INFO: Unmounting file system on host: beegfs-mgmtd

/opt/beegfs/sbin/…/lib/beegfs-ondemand-stoplocal: line 83: fuser: command not found

INFO: Stopping remaining processes on host: beeond1

INFO: Stopping remaining processes on host: beeond2

INFO: Stopping remaining processes on host: beegfs-mgmtd

INFO: Deleting status file on host: beeond1

INFO: Deleting status file on host: beeond2

INFO: Deleting status file on host: beegfs-mgmtd

4、其他工具使用

使用beegfs-ctl查看BeeOND实例信息

[root@beeond1 ~]# beegfs-ctl --mount=/mnt/beeond --listnodes --nodetype=storage

beeond1 [ID: 1]

beeond2 [ID: 2]

beegfs-mgmtd [ID: 3]

[root@beeond1 ~]# beegfs-ctl --mount=/mnt/beeond --listnodes --nodetype=meta

beeond1 [ID: 1]

beeond2 [ID: 2]

beegfs-mgmtd [ID: 3]

[root@beeond1 ~]# beegfs-ctl --mount=/mnt/beeond --listnodes --nodetype=mgmt

beeond1 [ID: 1]

beegfs-cp 将数据拷入或者拷出BeeOND

beegfs-cp copy -n nodefile /projects/dataset01 /projects/dataset02 /mnt/beeond

参数说明：

nodefile：包含所有主机名

/projects/dataset01 & /projects/dataset02：要拷贝数据的源路径（支持一个或者多个源文件或者源目录）

/mnt/beeond：目标路径

5、性能测试

一般使用fio测试，分别测试4K和1M的块大小，测试iops和带宽

性能和storage节点数有很大的关系，其中部署多个meta节点可以避免meta的单点问题，但是在测试过程中mgmtd只有一个节点，无法部署多节点，当mgmtd宕机时，会出现整个beeOND集群无法使用，存在多个meta或者storage时，宕机不会影响集群，但是同时存在一个致命的bug，当某一节点宕掉后，不会自动加回集群，需要重启整个集群才行，并不适用于生产环境。