slurm 有节点一直是down*状态

已于 2024-02-01 17:28:59 修改
阅读量2.8k 收藏 10
点赞数 8
CC 4.0 BY-SA版权
文章标签： 服务器 linux 运维
于 2024-02-01 17:26:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Japrin/article/details/135978840
文章讲述了在节点上遇到登录问题，发现gres.conf文件中引用的/dev/nvidia0不存在。通过执行nvidia-smi显示GPU信息并创建/dev/nvidia0，修复了Slurm服务并更新节点状态的过程，参考了SimpleLinuxUtilityforResourceManagement文档。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 节点是可以ping通，也可以登录上去

2. 登录有问题节点后，

service slurmd status

显示信息里有报错提示：

fatal: can't stat gres.conf file /dev/nvidia0: No such file or directory

gres.conf 文件（/opt/slurm/etc/gres.conf）里表明该节点有个tesla的GPU卡，它引用了/dev/nvidia0文件

NodeName=节点名 Type=tesla Name=gpu File=/dev/nvidia0

在该节点ls /dev 确实是没有看到/dev/nvidia0文件

3. 在该节点执行以下命令后，确实是显示了GPU卡的信息

nvidia-smi

4. 神奇的是，执行完这个nvidia-smi后，/dev/里有nvidia0了。于是启动该节点的slurmd服务

service slurmd start

清除该节点的down状态

scontrol update NodeName=节点名 State=idle

5. 问题解决

解决问题过程参考了以下文档的提示： Simple Linux Utility for Resource Management

japrin
关注
Slurm--资源管理系统
发呆的比目鱼的博客
08-01 2664
Slurm--资源管理系统
slurm平台Orphan Step导致节点状态变为down
大新新大浩浩的博客
05-18 1081
slurm Orphan step导致node变为down的问题处理记录
Slurm Node unexpectedly rebooted, reboot issued, reboot timeout, slurm计算节点down
xuecangqiuye的博客
07-21 2727
Slurm计算节点手动重启后，管理节点会将此计算节点的状态置为DOWN 可在Slurm管理节点使用下面的命令，恢复计算节点状态 scontrol update NodeName=nodename State=RESUME
slurm计算节点变成down*状态解决办法
weixin_44047008的博客
10-08 1万+
参照官网说明Slurm Workload Manager - scontrol update NodeName=c11State=RESUME命令即可
节点down
围城
03-16 913
2018/03/10 今天遇见了三次这个节点突然就down的状态，但是从日志里面看没有看到问题。 这个现在还能说出问题具体在哪。 这次重启的话是直接在namenode上重启的。 文件数据还在，只不过刚才跑过的应用信息不见了。 后续要看这个down了的话怎么去解决。 下午3点多，又掉了一个节点，datanode服务在，但是nodemanager不在了 也不知道为什么，看日志是什么东西也没有写。...
Spring boot admin 节点状态一直为DOWN的排查（忽略某一个节点的健康检查）
不积跬步无以至千里，不积小流无以成江河
08-01 9963
项目中需要监控各个微服务节点的健康状态，找到了spring boot admin这个全家桶监控工具，它其实是Vue.js美化过的Spring Boot Actuator，官方的解释是： codecentric’s Spring Boot Admin is a community project to manage and monitor your Spring Boot ? applicati...
linux新建可以ping用户及组,Linux基础操作
weixin_42699679的博客
05-11 175
一、目录处理命令ls [选项][参数] --list路径 /bin/ls-a 所有文件，包括隐藏文件，以“.”开头的文件是隐藏文件(all)-l 长格式显示-h 人性化显示文件大小-d 查看目录信息，一般与 -l 联系-i 查看文件的i节点？mkdir make directories路径 /bin/mkdirmkdir -p [目录]创建新目-p 递归创建可以同时...
slurm节点,分区,作业信息说明
u010797364的博客
10-12 1万+
节点状态查看 命令： sinfo 说明： PARRITION：节点所在分区 AVAIL：分区状态，up 标识可用，down 标识不可用 TIMELIMIT：程序运行最大时长，infinite 表示不限制，如果限制格式为 days-houres:minutes:seconds NODES：节点数 NODELIST：节点名列表 STATE：节点状态，可能的状态包括： allocated、alloc ：已分配 completing、comp：完成中 down：宕机 drained、drain：已失去活力 f
slurm随笔
byplane的博客
06-29 4046
资源分配 节点状态 （scontrol show node ..） UNKNOWN  未知 ALLOCATED 已分配 DOWN 故障 IDLE 空闲 DRAIN 不再分配 COMPLETING 有作业完成，正在退出 NO_RESPOND 无响应 分区状态 UP/DOWN 作业状态 PENDING 排队 PD RUNNING 运行 R SUSPENDE
SLURM 系统入门使用指南
qq_33275276的博客
03-23 1万+
简介 SLURM （Simple Linux Utility for Resource Management） 一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统 常用命令 sacct：查看历史作业信息 salloc：分配资源 sbatch：提交批处理作业 scancel：取消作业 scontrol：系统控制 sinfo：查看节点与分区状态 squeue：查看队列状态 s...
slurm相关
yang_daxia的博客
04-01 1092
sinfo 查看集群状态 drain(节点故障)，alloc(节点在用)，idle(节点可用)，down(节点下线)，mix(节点部分占用，但仍有剩余资源）。 squeue squeue 查看作业信息 作业状态包括R(正在运行)，PD(正在排队)，CG(即将完成)，CD(已完成)。 srun 参考：https://docs.hpc.sjtu.edu.cn/job/slurm.html#sinfo ...
slurm节点不可用
jack_magpie的博客
01-31 6609
两种slurm节点不可用情况的修复
Slurm随手记
qq_19841133的博客
12-21 1433
Slurm是一个开源、容错、高度可扩展的集群管理和作业调度系统，适用于大型和小型Linux集群。Slurm的操作不需要对内核进行修改，并且相对独立。作为集群工作负载管理器，Slurm具有三个关键功能。首先，它将对资源（计算节点）的独占和/或非独占访问分配给用户一段时间，以便他们可以执行工作。其次，它提供了一个框架，用于在分配的节点集上启动、执行和监视工作（通常是并行作业）。最后，它通过管理挂起的工作队列来仲裁资源争用。
SLURM 节点状态总是drained问题
kongxx的专栏
09-03 2万+
问题描述新装的 SLURM 集群在运行了一些作业并修改一些配置项目以后，用sinfo查看信息的时候看到部分节点状态总是 drained ，但是在这个节点上并没有作业在运行，重启 slurm 服务问题依旧，如下$ sinfoPARTITION AVAIL TIMELIMIT NODES STATE NODELIST debug* up infinite 1 drain
Slurm作业调度系统基本指令
githubcurry
04-02 7795
作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）
linux下slurm单机版安装
destinyttxs的博客
05-19 4155
slurm单机版本安装
slurm入门
热门推荐
byplane的博客
06-23 5万+
什么是超级计算机？ 超级计算机不是关于任何特定的架构，它只是处在计算性能尖端的一种设计。如今，这意味着如果以 LINPACK 基准度量，该系统能够在千万亿次（或百万之四次方的 FLOPS）的性能范围内运行。 无论超级计算机如何实现这些 FLOPS，任何超级计算机架构的一个低层目标都是在有工作可做时最佳地保持计算资源忙碌。与 CDC 6600 用来保持其单个 CPC 忙碌的外围处理器
相对全面的SLURM集群的配置、安装及一些小问题的解决
Datuqiqi的博客
03-08 3万+
年前做了slurm集群的安装与配置，这里写出来与大家分享一下。安装配置的时候在网上找了很多资料，发现网上的版本都比较简单，很多东西没有说清楚，这里为大家一一详细说明，希望能对需要的朋友们有所帮助。同时我如有写错的地方请大家予以纠正，谢谢！联系QQ：1192625541 Slurm安装教程 OS：centos7 machine:master(主节点，也是计算节点),slaver1,slave
slurm节点总是down*
最新发布
02-21
### 解决Slurm集群中节点频繁Down机的问题 当遇到Slurm集群中的节点频繁处于`down`状态时，可以从多个角度排查并解决问题。首先确认这些节点是否真的硬件故障还是由于配置或其他软件层面的原因。 #### 检查物理连接与硬件健康状况 对于实际存在硬件问题的情况，应当先检查服务器本身的电源供应、网络接口卡的工作状态以及其他可能影响正常运作的关键组件是否有异常报警指示灯亮起或风扇转速不正常等问题[^2]。 #### 审核日志文件寻找线索 通过查看位于 `/var/log/slurm/` 下的日志记录来获取更多关于为什么某些计算机会被标记为不可用的具体原因。特别是要注意任何重复出现错误提示或是警告信息，这可能是导致机器进入 `down` 状态的根本因素之一[^1]。 #### 验证操作系统和服务的状态 确保所有参与调度作业的操作系统都已更新至最新稳定版本，并且没有任何未处理的安全补丁待安装；同时也要验证 Slurm 相关服务（如 slurmctld 和 slurmd）正在平稳运行而无崩溃现象发生。如果发现有进程意外终止，则应进一步调查其背后的原因。 #### 排除网络通信障碍 考虑到分布式架构的特点，在多台计算机之间建立良好通讯至关重要。因此有必要测试各节点间的连通性和延迟情况，排除因交换机端口拥塞等原因造成的临时性离线事件。另外还需保证时间同步机制工作正常，因为不同步可能会干扰到任务提交流程甚至造成资源分配失败。 #### 更新和优化配置参数 有时默认设置并不适用于所有的环境条件，适当调整一些关键性的参数可以帮助提高系统的稳定性。例如增加心跳检测间隔 (`HealthCheckInterval`) 或者允许更宽松的任务迁移策略(`PreemptMode=REQUEUE`)等措施均有助于减少不必要的停机次数。 ```bash # 修改slurm.conf 文件以适应具体需求 vi /etc/slurm/slurm.conf ``` #### 实施预防性维护计划 定期执行全面体检活动，提前识别潜在风险点并及时采取相应对策加以防范。比如安排专人负责监控集群性能指标变化趋势，制定应急预案以便快速响应突发状况等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值