IBM Storage Scale （GPFS）并行文件系统的搭建和简单使用

最新推荐文章于 2025-05-19 15:12:03 发布

新钛云服

最新推荐文章于 2025-05-19 15:12:03 发布

阅读量812

点赞数

文章标签： java 数据库大数据开发语言

原文链接：https://mp.weixin.qq.com/s?__biz=MzU0OTg5MzMzOQ==&mid=2247500253&idx=1&sn=420767a4b47c75c029bad4897c2b5f8c&chksm=fa8abc9c14a9d804c23dfbee8fda2d3c44bac55228006f9693295955cc525e41cf023fe38cc8&scene=126&sessionid=0

版权

新钛云服已累计为您分享812篇技术干货

实验环境信息

我们将在三台RHEL8.3版本的x86服务器上安装Spectrum Scale 5.1.1版本三台服务器已经预先进行了如下配置

（1）RHEL安装盘作为本地YUM源

（2）节点间互信，免密码登录

（3）/etc/hosts中添加主机名称和IP地址信息

（4）防火墙关闭且SELINUX=disabled

（5）预安装以下rpm包

yum install kernel-devel cpp gcc gcc-c++ glibc sssd ypbind openldap-clients krb5-workstation elfutils elfutils-devel make

提取GPFS所需基本包

注意：此后如没有特殊说明，都只在gpfs101节点上执行即可

其中参数--silent 表示以静默方式提取，如果不加该参数需要输入数字“1”，同意相关协议

/root/Spectrum_Scale_Advanced-5.1.1.0-x86_64-Linux-install --silent

配置 Install 节点

cd /usr/lpp/mmfs/5.1.1.0/ansible-toolkit/
./spectrumscale setup -s 192.168.1.101

添加节点并查看配置

其中参数-a表示admin节点、-g表示GUI节点，-n表示NSD节点，-m表示manager节点，-q表示quorum节点

./spectrumscale node add gpfs101 -a -g -n -m -q
./spectrumscale node add gpfs102 -a -g -n -q
./spectrumscale node add gpfs103 -n -q
./spectrumscale node list

增加NSD磁盘空间，并查看

其中参数-p表示主NSD节点，-fs表示创建的文件系统，-fg表示所在的Failure Group，-po表示存储池，-u表示存储的数据类型，“/dev/sdx”表示磁盘设备，实验中3个NSD节点各有3块本地磁盘sdb/sdc/sdd用于创建NSD。

以下命令创建了一个Filesystem（gpfs）；

3个Pool（system/pool01/pool02）；

3个Failure Group（101/102/103）

./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd list

查看文件系统，

调整副本数量与挂载点

其中参数 -mr表示metadata当前副本数，-MR表示metadata最大副本数，-r表示当前数据副本数，-R表示最大数据副本数，-m表示挂载点位置。这里可以通过list命令，查看副本数和挂载点修改前后的对比

./spectrumscale filesystem list
./spectrumscale filesystem modify gpfs -mr 2 -MR 3 -r 2 -R 3 -m /gpfs
./spectrumscale filesystem list

配置性能监控功能

开启性能监控，默认已经打开

./spectrumscale config perfmon -r on

配置GPFS 集群名

通讯端口并查看

其中参数-c表示集群名称，-e表示GPFS Daemon通讯端口范围

./spectrumscale config gpfs -c gpfsdemo -e 60000-61000
./spectrumscale config gpfs --list

配置 Callhome 功能

这里我们把callhome功能关闭

./spectrumscale callhome disable

查看并检查GPFS集群配置信息

./spectrumscale install --precheck

开始安装GPFS集群

包括NSD，性能监控，GUI，文件系统等安装

注意：前述步骤只是进行配置，当前步骤才开始按照前述配置执行安装

./spectrumscale install

该命令运行时间较长，请耐心等待16分钟

编译问题：

问题一：

Cannot find a valid kernel header file. One of these files should exist.
      /lib/modules/3.10.0-1160.el7.x86_64/build/include/linux/version.h
      /usr/src/linux-3.10.0-1160.el7.x86_64/include/linux/version.h
      /usr/src/kernels/3.10.0-1160.el7.x86_64/include/generated/uapi/linux/version.h
      /lib/modules/3.10.0-1160.el7.x86_64/build/include/generated/uapi/linux/version.h


Contact IBM Service if you still encounter this problem after you install all the required packages.
make: *** [Autoconfig] 错误 1

# 原因：路径/usr/src/kernels/3.10.0-1160.el7.x86_64不存在
[root@gpfs 3.10.0-1160.el7.x86_64]# ll /lib/modules/3.10.0-1160.el7.x86_64
total 3300
lrwxrwxrwx.  1 root root     39 Aug 31 08:35 build -> /usr/src/kernels/3.10.0-1160.el7.x86_64
.....

[root@node1 src]# wget http://mirror.centos.org/centos/7/os/x86_64/Packages/kernel-devel-3.10.0-1160.el7.x86_64.rpm
[root@node1 src]# rpm -Uvh kernel-devel-3.10.0-1160.el7.x86_64.rpm --force

问题二：

In file included from /usr/include/sys/ioctl.h:26:0,
                 from /usr/lpp/mmfs/src/gpl-linux/lxtrace.c:61:
/usr/include/bits/ioctls.h:23:24: 致命错误：asm/ioctls.h：没有那个文件或目录
 #include <asm/ioctls.h>
                        ^

[root@node1 src]# find /usr/src/kernels/3.10.0-1160.el7.x86_64 -name "ioctls.h"
/usr/src/kernels/3.10.0-1160.el7.x86_64/arch/x86/include/uapi/asm/ioctls.h
/usr/src/kernels/3.10.0-1160.el7.x86_64/include/uapi/asm-generic/ioctls.h
[root@node1 src]# rm -rf /usr/include/asm/ioctls.h
[root@node1 src]# ln -s /usr/src/kernels/3.10.0-1160.el7.x86_64/arch/x86/include/uapi/asm/ioctls.h /usr/include/asm/ioctls.h

问题三：

kdump-kern.o：在函数‘GetOffset’中：
kdump-kern.c:(.text+0x15)：对‘__x86_return_thunk’未定义的引用
kdump-kern.o：在函数‘KernInit’中：
kdump-kern.c:(.text+0x1a5)：对‘__x86_return_thunk’未定义的引用
kdump-kern.o：在函数‘GenericGet’中：
kdump-kern.c:(.text+0x348)：对‘__x86_return_thunk’未定义的引用
kdump-kern.c:(.text+0x35e)：对‘__x86_return_thunk’未定义的引用
kdump-kern.o：在函数‘tiInit’中：
kdump-kern.c:(.text+0x3bc)：对‘__x86_return_thunk’未定义的引用
kdump-kern.o:kdump-kern.c:(.text+0x445): 跟着更多未定义的参考到 __x86_return_thunk
collect2: 错误：ld 返回 1
make[1]: *** [modules] 错误 1
make[1]: 离开目录“/usr/lpp/mmfs/src/gpl-linux”
make: *** [Modules] 错误 1

vim /usr/lpp/mmfs/src/gpl-linux/kdump.c
# 在122行添加内容
unsigned long __x86_return_thunk;

问题四：

kdump-kern.o: In function `GetOffset':
kdump-kern.c:(.text+0x9): undefined reference to `page_offset_base'
kdump-kern.o: In function `KernInit':
kdump-kern.c:(.text+0x58): undefined reference to `page_offset_base'
collect2: error: ld returned 1 exit status
make[1]: *** [modules] Error 1
make[1]: Leaving directory `/usr/lpp/mmfs/src/gpl-linux'
make: *** [Modules] Error 1

vim /usr/lpp/mmfs/src/gpl-linux/kdump.c
# 在122行添加内容
unsigned page_offset_base;

配置 GUI 账户

创建admin账户，并添加到Administrator和SecurityAdmin组中

/usr/lpp/mmfs/gui/cli/mkuser admin -g Administrator,SecurityAdmin

之后输入两次密码，例如：admin001，在浏览器中可以通过 http://192.168.1.101 访问GUI界面

注：GUI界面的使用不在本实验演示范围，接下来请回到命令行界面继续实验

为CES服务修改 Hosts 文件

注意：该步需要在所有节点执行

在所有节点的hosts文件中，写入CES的IP地址

Tips：Cluster Export Services（CES）可以提供高可用的文件和对象服务，包括NFS、SMB和Object

echo "192.168.1.104 ces104.cscdemo.cn ces104">>/etc/hosts
echo "192.168.1.105 ces105.cscdemo.cn ces105">>/etc/hosts
echo "192.168.1.106 ces106.cscdemo.cn ces106">>/etc/hosts

添加协议服务节点并查看

配置gpfs101/gpfs102/gpfs103为协议服务节点

./spectrumscale node add gpfs101 -p
./spectrumscale node add gpfs102 -p
./spectrumscale node add gpfs103 -p
./spectrumscale node list

分配CES协议服务IP地址

./spectrumscale config protocols -e 192.168.1.104,192.168.1.105,192.168.1.106

配置cesShareRoot

其中参数-f表示放置的文件系统，-m表示挂载路径

./spectrumscale config protocols -f gpfs -m /gpfs

配置开启NFS和SMB服务协议

./spectrumscale enable nfs
./spectrumscale enable smb

检查协议配置信息

./spectrumscale deploy --precheck

部署协议服务

部署包括CES，NFS和SMB

./spectrumscale deploy

该命令运行时间较长，请耐心等待10分钟

配置协议服务认证方式

这里采用本地认证方式

/usr/lpp/mmfs/bin/mmuserauth service create --data-access-method file --type userdefined

添加认证用户

注意：该步需要在所有节点执行

创建本地用户，下面创建了 cscdemo 用户并且输入password作为密码

useradd cscdemo
/usr/lpp/mmfs/bin/smbpasswd -a cscdemo

发布SMB共享目录

创建smbshare1目录，给 cscdemo 用户设置该目录权限，并发布共享

mkdir /gpfs/smbshare1
chown cscdemo /gpfs/smbshare1
/usr/lpp/mmfs/bin/mmsmb export add smbshare1 /gpfs/smbshare1

访问SMB目录

在桌面右上角选择 Applications -> File Manager

然后输入smb://192.168.1.104/smbshare1 回车

(请等待几秒钟，回车一次就好，待弹出对话框)

选择 Connect as user ，输入用户名(Username)：cscdemo ，

密码(Password)：password 点击 Connect在打开的目录中，尝试创建任何文件或目录，返回gpfs101的/gpfs/smbshare1可以查看到

如有相关问题，请在文章后面给小编留言，小编安排作者第一时间和您联系，为您答疑解惑。

推荐阅读

推荐视频