GPFS修改IP失败

最新推荐文章于 2023-12-12 17:58:25 发布
原创 最新推荐文章于 2023-12-12 17:58:25 发布 · 3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了在修改/etc/hosts及网络脚本后，GPFS集群无法正常启动的问题及解决过程。主要错误信息包括无法达到任何仲裁节点、无法获取配置文件锁等。通过强制修改mmsdrfs文件中的IP地址，最终成功启动了GPFS集群。
部署运行你感兴趣的模型镜像

修改/etc/hosts和/etc/sysconfig/network-scripts之后，开启GPFS不能成功

 

[root@gpfsfpo1 network-scripts]# mmstartup -a
get file failed: Unable to reach any quorum node (Check your firewall or network settings) (err 823)
gpfsClusterInit: Unexpected error from ccr fget mmsdrfs.  Return code: 149
mmstartup: Command failed. Examine previous error messages to determine cause

 

[root@gpfsfpo1 network-scripts]# mmlscluster
get file failed: Unable to reach any quorum node (Check your firewall or network settings) (err 823)
gpfsClusterInit: Unexpected error from ccr fget mmsdrfs.  Return code: 149
mmlscluster: Command failed. Examine previous error messages to determine cause.
[root@gpfsfpo1 network-scripts]# mmchnode --daemon-interface=gpfsfpo-daemon1 -N gpfsfpo1
mmchnode: Unable to obtain the GPFS configuration file lock.
mmchnode: GPFS was unable to obtain a lock from node gpfsfpo1.
mmchnode: Command failed. Examine previous error messages to determine cause.
[root@gpfsfpo1 network-scripts]# mmchcluster --ccr-disable
mmchcluster: Unable to obtain the GPFS configuration file lock.
mmchcluster: GPFS was unable to obtain a lock from node gpfsfpo1.
mmchcluster: Processing continues without lock protection.
mmchcluster: Cluster Export Services are enabled on the following nodes:
gpfsfpo1
gpfsfpo2
Cluster Export Services require CCR to be enabled.
  Disable CCR is not allowed without --force option.
mmchcluster: Command failed. Examine previous error messages to determine cause.
[root@gpfsfpo1 network-scripts]# mmchcluster --ccr-disable --force
mmchcluster: Unable to obtain the GPFS configuration file lock.
mmchcluster: GPFS was unable to obtain a lock from node gpfsfpo1.
mmchcluster: Processing continues without lock protection.
Verifying GPFS is stopped on all nodes ...
mmchcluster: GPFS cluster configuration servers:
mmchcluster:   Primary server:    gpfsfpo1
mmchcluster:   Secondary server:  gpfsfpo2
mmchcluster: Command successfully completed
[root@gpfsfpo1 network-scripts]# mmlscluster

GPFS cluster information
========================
  GPFS cluster name:         gpfs.FPO
  GPFS cluster id:           5710580052883819165
  GPFS UID domain:           gpfs.FPO
  Remote shell command:      /usr/bin/ssh
  Remote file copy command:  /usr/bin/scp
  Repository type:           server-based

GPFS cluster configuration servers:
-----------------------------------
  Primary server:    gpfsfpo1
  Secondary server:  gpfsfpo2

 Node  Daemon node name  IP address     Admin node name  Designation
---------------------------------------------------------------------
   1   gpfsfpo-daemon1   192.168.4.142  gpfsfpo1         quorum-manager
   2   gpfsfpo-daemon2   192.168.4.144  gpfsfpo2         quorum-manager

[root@gpfsfpo1 network-scripts]# mmchnode --daemon-interface=gpfsfpo-daemon1 -N gpfsfpo1
Tue Aug 15 22:08:27 EDT 2017: mmchnode: Processing node gpfsfpo1
Verifying GPFS is stopped on all nodes ...

gpfsfpo2:  mmremote: Unable to determine the local node identity.
gpfsfpo2:  mmremote: Command failed. Examine previous error messages to determine cause.
mmchnode: Propagating the cluster configuration data to all
  affected nodes.  This is an asynchronous process.
[root@gpfsfpo1 network-scripts]# mmchnode --daemon-interface=gpfsfpo-daemon2 -N gpfsfpo2
mmremote: Unable to determine the local node identity.
mmremote: Command failed. Examine previous error messages to determine cause.
mmremote: Unable to determine the local node identity.
mmremote: Command failed. Examine previous error messages to determine cause.
mmchnode: syncServerNodes: Unable to obtain mmsdrfs version line from backup server.
mmchnode: Command failed. Examine previous error messages to determine cause.

 

 

按照http://nixys.fr/blog/?p=2152的方法

强行修改vi /var/mmfs/gen/mmsdrfs里面的ip地址

 

[root@gpfsfpo1 network-scripts]# mmstartup -a
Tue Aug 15 22:15:16 EDT 2017: mmstartup: Starting GPFS ...
[root@gpfsfpo1 network-scripts]# mmgetstate -a

 Node number  Node name        GPFS state
------------------------------------------
       1      gpfsfpo-daemon1  arbitrating
       2      gpfsfpo-daemon2  arbitrating
[root@gpfsfpo1 network-scripts]# mmgetstate -a

 Node number  Node name        GPFS state
------------------------------------------
       1      gpfsfpo-daemon1  active
       2      gpfsfpo-daemon2  active

 

集群可以被拉起了

您可能感兴趣的与本文相关的镜像

Dify

Dify

AI应用
Agent编排

Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了 后端即服务(Backend as a Service) 和LLMOps 的理念，让开发者能快速、高效地构建和部署生产级的生成式AI应用。 它提供了包含模型兼容支持、Prompt 编排界面、RAG 引擎、Agent 框架、工作流编排等核心技术栈，并且提供了易用的界面和API，让技术和非技术人员都能参与到AI应用的开发过程中

jiaxu2000
关注
AI智算-Ubuntu24.04安装GPFS并行文件存储客户端
Kason_iWiki
11-18 768
待所有客户端完成编译后，需要将客户端加入到存储集群里。在存储节点（确保与客户端互信）执行节点添加命令，依次加入然后赋予客户端权限。
AI智算-K8s如何利用GPFS分布式并行文件存储加速训练or推理
Kason_iWiki
04-04 725
GPFS（General Parallel File System，通用并行文件系统）是由 IBM 开发的高性能分布式文件系统，最初设计于 1990 年代，用于满足高性能计算（HPC）环境对大规模数据存储和访问的需求。GPFS 现已广泛应用于企业级存储、云计算、大数据分析、人工智能和媒体处理等领域。它以其高性能、可扩展性和可靠性著称，能够支持从小型集群到超大规模系统的各种部署场景。
linux+gpfs配置文件,GPFS 在 Linux 集群中的灾难恢复
weixin_29775447的博客
05-02 1167
GPFS 文件系统相关介绍IBM General Parallel File System(GPFS) 是高性能、可扩展、并行文件系统。通过它，可以构建一个高可用、高性能的大型 Linux 计算机集群。GPFS 提供了强大的灾难恢复功能。从而，通过 GPFS 可以构建高可用的 Linux 集群。GPFS 文件系统GPFS 是一个并行的共享磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件...
节点修改IP地址
Long_UP的博客
05-07 2478
本篇是确定控制节点和计算节点的IP网络地址 首先进入CentOS7命令行 修改controller的网卡 输入用户和密码 controller login：root Password：123456 [root@controller ~]# cd /etc/sysconfig [root@controller sysconfig]# ls [root@controller sysconfig]# cd network-scripts [root@controller network-scripts]# ls
GPFS删除节点失败
jiaxu2000的博客
01-08 1922
某节点重新加入集群，报错   mmaddnode -N WIN-Q2AIHQRBOL7:nonquorummmaddnode: Node WIN-Q2AIHQRBOL7 already belongs to the GPFS cluster.mmaddnode: mmaddnode quitting.  None of the specified nodes are valid.mmadd...
搭建GPFS双机集群
qq_56776641的博客
10-18 1800
原因：mmfslinux.ko文件在编译过程中根据你（kernel-devel-3.10.0-1160.el7.x86_64版本）的生成，并且生成在/lib/modules/3.10.0-1160.el7.x86_64/extra下。如果你使用的kernel-devel版本是3.10.0-1160.95.1.el7.x86_64,那生成的mmfslinux.ko路径会是/lib/modules/3.10.0-1160.95.1.el7.x86_64/extra。
GPFS的安装与配置
weixin_33937499的博客
09-28 823
一.准备工作1.首先配置ssh无密码登陆2.修改/etc/hosts文件4.硬件要求(必须要有额外的磁盘)拓扑图如下:1.首先我们来配置ssh无密码:node1:ssh-keygen-N "" ssh-copy-id-i ~/.ssh/id_rsa.pub node2输入密码即可node2:ssh-keygen-N "" ssh-copy-id-i ~/.ssh/id_rsa...
【存储】GPFS简介及搭建
coco3600的博客
07-21 3565
【存储】GPFS简介及搭建 第一章GPFS简介 1.1 GPFS 文件系统介绍 IBM的GPFS（General Pa...
gpfs开启rdma, 走IB
06-22
R`：指定ssh和scp路径2.**添加节点到集群**启动GPFS服务并接受许可：```bashsudommstartup-asudommchlicenseserver-Nall```###四、配置GPFS使用InfiniBand网络1.**指定InfiniBand网络作为通信协议**修改GPFS通信协议...
g0601 0 | distributed init (rank 0): env:// Traceback (most recent call last): File "/gpfs/home/Z24301087/rab/Repetition/detr/main.py", line 249, in <module> main(args) File "/gpfs/home/Z24301087/rab/Repetition/detr/main.py", line 107, in main utils.init_distributed_mode(args) File "/gpfs/home/Z24301087/rab/Repetition/detr/util/misc.py", line 426, in init_distributed_mode torch.distributed.init_process_group(backend=args.dist_backend, init_method=args.dist_url, File "/gpfs/home/Z24301087/miniconda3/envs/yolo/lib/python3.10/site-packages/torch/distributed/c10d_logger.py", line 83, in wrapper return func(*args, **kwargs) File "/gpfs/home/Z24301087/miniconda3/envs/yolo/lib/python3.10/site-packages/torch/distributed/c10d_logger.py", line 97, in wrapper func_return = func(*args, **kwargs) File "/gpfs/home/Z24301087/miniconda3/envs/yolo/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1520, in init_process_group store, rank, world_size = next(rendezvous_iterator) File "/gpfs/home/Z24301087/miniconda3/envs/yolo/lib/python3.10/site-packages/torch/distributed/rendezvous.py", line 265, in _env_rendezvous_handler master_addr = _get_env_or_raise("MASTER_ADDR") File "/gpfs/home/Z24301087/miniconda3/envs/yolo/lib/python3.10/site-packages/torch/distributed/rendezvous.py", line 243, in _get_env_or_raise raise _env_error(env_var) ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_ADDR expected, but not set
最新发布
10-25
- 核心必需变量：`$MASTER_ADDR$`（主节点地址，通常为 `localhost` 或IP）、`$MASTER_PORT$`（端口号）、`$RANK$`（进程编号）和 `$WORLD_SIZE$`（进程总数）。 - 如果这些变量未设置，会导致初始化失败[^1][^2]。 ...
GPFS通用并行文件系统之Centos5.8部署gpfs集群
weixin_33856370的博客
03-10 333
       GPFS文件系统能够横跨在所有主机上，分布在所有磁盘上，条带化读写，高性能。信令管理机制，并发性好。可配置failgroup组，可用性高。下面是GPFS集群的部署过程......1.环境准备：yum install -y compat-libstdc++-33 rpm-build kernel-headers kernel-devel imake gcc-c++  libstdc+...
规划IBM Spectrum Scale
HHFQ的博客
11-06 2837
规划GPFS 尽管您可以在设置GPFS配置后对其进行修改，但在安装和初始设置之前需要考虑一些因素，这将使您获得更高效且立即有用的文件系统。 在配置期间，GPFS要求您指定多个反映硬件资源和操作环境的操作参数。 在创建文件系统期间，您可以指定基于文件的预期大小的参数，也可以使默认值生效。 安装工具包也可用于帮助在Linux节点上安装GPFS。有关更多信息，请参见安装工具包概述。 规划GPFS包括: ...
linux安装gpfs系统要求,基于 Linux 集群环境上 GPFS 的问题诊断
weixin_28796981的博客
04-29 387
基于 Linux 集群环境上 GPFS 的问题诊断在装有GPFS 文件系统的环境中出现问题时，我们在求助IBM Service 团队前，可先自行进行些初步检查。既可以快速修复一些简单问题，也可向Service 人员提供更详尽的问题描述信息来协助他们加快解决问题。我们一般有下面的几种常见检查方法。1. 首先检查该问题仅仅出现在一个节点还是多个节点上并明确问题节点:通常判断某节点是否有问题的方法如下：...
GPFS 5.1安装
m0_49438862的博客
12-12 3085
最小内存2G,不然无法启动节点名节点IP节点作用gpfsnode1gpfs主节点gpfsnode2gpfs从节点gpfsclientgpfs客户端timeserver时间同步服务器。
python APScheduler调度出现 'Unable to determine the name of the local timezone -- you must explicitly '
qq_15783243的博客
08-11 3089
问题描述： Traceback (most recent call last): File "./Premiumizer.py", line 1411, in &lt;module&gt; ...
Unable to determine local hostname -falling back to "localhost"
u010417178的博客
04-27 7680
hadoop2.6.5伪分布式安装的时候，报错：Unable to determine local hostname -falling back to "localhost"， 由于更改了虚拟机的hostname  vi /etc/sysconfig/network 而/etc/hosts  下的文件没有修改 解决方法 vi /etc/hosts  添
GPFS集群搭建问题整理
曾义文的博客
01-11 8112
Error 1.      创建GPFS集群时遇到问题， mmcrcluster: Performing preliminary nodeverification ... mmcrcluster: Processing quorum and other critical nodes ... node1: authentication refresh for node 2 (node2) fa
gpfs集群linux编译环境,GPFS通用并行文件系统之Python自动部署GPFS集群
weixin_31994237的博客
05-04 406
GPFS文件系统能够横跨在所有主机上，分布在所有磁盘上，条带化读写，高性能。信令管理机制，并发性好。可配置fail组，可用性高。下面是GPFS集群的自动安装部署Python代码......注:该脚本只能自动识别到系统盘之外的物理磁盘，不会识别到分区。1、gpfs文件包目录结构脚本中都按照这个目录结构进行安装2、脚本执行方法输入的是拥有存储磁盘的主机名。按回车完成[root@vuestor01 sc...
安装大型 Linux 集群，第 4 部分: 节点安装和 GPFS 集群配置
走向架构师之路
12-22 2791
从多个独立的硬件和软件，包括 System x™ 和 IBM TotalStorage®，创建一个可运行的Linux® 集群。第 4 部分提供了设置存储后端所需的操作指导的后半部分内容，包括在每个节点上安装 GPFS（GeneralParallel File System）代码，以及为存储节点配置 Qlogic 适配器。最后，本文将带领您遍历创建 GPFS 集群的步骤。
GPFS
05-09
<think>好的，用户想了解IBM Spectrum Scale GPFS文件系统的配置和使用。我需要先回顾一下已有的引用资料，看看有哪些相关信息可以整合。 首先，引用[3]提到了搭建和简单使用GPFS，包括节点添加的命令，比如`spectrumscalenodeadd`和`spectrumscalenodelist`。这些命令应该是配置集群节点的关键步骤。可能需要详细说明如何添加节点和验证配置。 然后，引用[2]提到了Windows节点的集群配置，使用`mmwinrsh`实用程序。但用户的问题可能更偏向于通用配置，不过如果有涉及Windows的部分，也需要提及，但可能用户更关注Linux环境。 引用[1]介绍了不变文件集，用于合规性需求，比如SEC17a-4f。这部分在配置中可能属于高级功能，用户可能需要了解如何配置不可变文件集以满足法规要求。 接下来，用户需要配置和使用的基本步骤。应该分步骤说明，包括环境准备、节点配置、文件系统创建、挂载和使用，以及高级功能如不变性配置。每个步骤需要给出具体命令和示例，这样用户能直接操作。 另外，用户可能关心性能优化，比如参数调优，引用中虽然没有直接提到，但根据GPFS的常见配置，可以建议调整块大小、缓存等参数。 注意事项部分需要涵盖网络、存储、权限和合规性，特别是引用[1]中的合规性评估，提醒用户根据法规配置不变文件集。 相关问题部分，需要覆盖安装、性能、容灾、不变性、Windows集成和监控命令。这些问题能帮助用户深入了解更多细节。 需要确保使用中文回答，LaTeX格式正确，行内公式用$...$，独立公式用$$...$$。不过当前问题主要涉及配置命令，可能数学公式较少，但如果有参数设置可能需要用LaTeX，比如存储容量计算。 检查是否有遗漏的信息点，比如节点添加的具体命令、文件系统创建命令、挂载步骤，以及合规性配置。确保步骤逻辑清晰，用户能一步步跟随操作。 最后，验证提供的命令是否正确，比如`mmcrfs`、`mmlsfs`等是否是GPFS的标准命令，避免错误。同时，引用标记要正确对应，比如不变性配置引用[^1]，Windows节点引用[^2]，搭建步骤引用[^3]。 现在整理结构，确保每个部分有明确的标题，代码块正确使用语法，相关问题覆盖用户可能感兴趣的扩展内容。</think>### IBM Spectrum Scale (GPFS) 文件系统配置与使用指南 IBM Spectrum Scale（原名GPFS）是一种高性能、可扩展的并行文件系统，适用于大规模数据存储和高并发访问场景。以下是其核心配置与使用步骤： --- #### 一、基础配置步骤 1. **环境准备** - 确保集群节点间网络互通，时间同步（NTP服务），SSH免密登录已配置。 - 所有节点安装IBM Spectrum Scale软件包[^3]。 2. **节点配置** ```bash # 添加节点到集群 ./spectrumscalenodeadd gpfs101 -p ./spectrumscalenodeadd gpfs102 -p ./spectrumscalenodeadd gpfs103 -p # 验证节点列表 ./spectrumscalenodelist ``` 3. **创建文件系统** ```bash # 创建NSD（网络共享磁盘） mmcrnsd -F nsd_descriptor_file # 创建GPFS文件系统 mmcrfs /dev/gpfs -F nsd_descriptor_file -A yes -T /mnt/gpfs ``` 4. **挂载与使用** ```bash # 挂载文件系统 mmmount /mnt/gpfs # 查看文件系统状态 mmlsfs all ``` --- #### 二、高级功能：不变性配置 为满足合规性要求（如SEC17a-4f），可配置**不可变文件集**： ```bash # 创建不可变文件集 mmcrfileset gpfs_immutable --inode-space new --inode-limit 1000000 # 设置文件集为不可变 mmchfileset gpfs_immutable -i immutable ``` 此功能通过防止数据篡改满足美国和欧洲法规要求[^1]。 --- #### 三、Windows节点集成 若集群包含Windows节点，需配置`mmwinrsh`服务： ```bash # 在Linux节点配置Windows通信 /usr/lpp/mmfs/bin/mmwinrsh <Windows节点名> <命令> ``` 详细配置参考`mmwinservctl`命令文档[^2]。 --- #### 四、性能优化建议 1. **调整I/O参数**： ```bash mmchconfig maxBlocksPerRequest=1024 -i ``` 2. **负载均衡**： ```bash mmrestripefs gpfs -b ``` --- #### 注意事项 1. 确保存储设备**均匀分布**以避免热点问题。 2. 使用`mmdiag`和`mmlsdisk`监控磁盘健康状态。 3. 合规性场景需定期审计不可变文件集[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值