复制+粘贴 -＞ 集群就绪 | SLURM HPC

已于 2022-08-28 15:23:26 修改
阅读量902 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： centos ubuntu 机器学习 自动化
于 2022-04-18 00:15:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hpc4you/article/details/124239554
本文提供了一种适合非专业Linux运维人员的SLURM HPC集群搭建方案，无需复杂技能，只需简单的复制粘贴指令。适用于CentOS和Ubuntu系统，通过hpc4you toolkit工具，实现集群组建流程的零配置、零管理和零维护，特别适合科研团队快速建立计算平台。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

请看这里. 

http://t.csdn.cn/KXzn5icon-default.png?t=M7J4http://t.csdn.cn/KXzn5 

写在前面

本方案, 是假定您的计算机技能, 停留在多数简历里面描述的“熟练掌握Micosoft Word, PowerPoint, Excel; 会使用Origin绘图, 会PhotoShop简单修图”这个水平. 但是您可以区分清楚键盘上的字母键, 数字键, 方向键, 以及粘贴完毕指令后, 还要按Enter这种操作逻辑. 

本方案半自动调试集群. 
  • 如果能用vi, 仅需用vi修改一个文件. (不要求会用, 会用vi得多牛呀. 能用vi添加几行内容和会用vi是两回事情)
最低0.47元/天 解锁文章

200万优质内容无限畅学
hpc4you
关注
复制+粘贴-＞集群就绪 | 微软视角hpc4you_toolkit使用演示
hpc4you的博客
05-12 608
此文写给生物、化学、环境、材料以及其他需要计算模拟的硕士和博士一年级新生. hpc4you_toolkit可以轻松快捷地利用现有机器组建并行计算集群. 无论你的服务器是运行CentOS还是Ubuntu, hpc4you_toolkit组建集群, 都是依次运行如下指令: ./step1.sh ./step2.sh ./step3.sh ./step4.sh...............
一键自动配置SLURM调度器
hpc4you的博客
05-26 885
简介 hpc4you toolkit solo, 适用于在Linux单机/工作站, 一键自动配置SLURM调度器 支持RHEL7和RHEL8及其兼容系统(比如CentOS 7.x, 8.x, Rocky Linux 8.x等) 支持Ubuntu 20.04和22.04系列及其兼容衍生版本. 如何使用 将文件code和压缩包hpc4you_toolkit-solo*.tgz放在目标服务器上 在以上两个文件所在路径, 打开终端, 输入指令 source code 耐心等待, 调度器自动就绪. ..
slurm-web, Slurm HPC工作负载管理器 web JS仪表板和 JSON REST API.zip
09-18
slurm-web, Slurm HPC工作负载管理器 web JS仪表板和 JSON REST API slurm站点 概述Slurm web提供了一个web仪表板和一个 REST API 到Slurm高性能超级计算机，具有当前作业和。后端 REST API 是使用 Flask web框架在 python 中完成的。 它被设计
slurm:适用于HPC计算模型专家的Docker容器中的入门级Slurm并行计算
03-07
slurm:适用于HPC计算模型专家的Docker容器中的入门级Slurm并行计算
HPC (GPU)集群常用命令 - slurm作业调度方法 - ssh登录集群独占GPU(VS Code) - .sh/.py脚本的运行（持续更新）
科研汪小陈的主页：https://chensuzeyu.github.io
05-07 1161
【常用linux命令】HPC 集群常用命令 (封闭式管理的slurm调度系统) :​ 最近因加入了导师团队，需要将在AutoDL上的小规模实验数据+代码迁移到学校的HPC集群中进行大规模实验; 但现实很骨感，学校的集群是已封闭式管理的； 而且slurm工作的运行调度逻辑和AutoDL这类服务器有很大差别； 上传数据的单个文件大小卡在6GB以下，得分卷（避坑指南可参考博客）； 之后会持续更新一些个人经验 ​
slurmr-workshop：带有Slurm，R和slurmR软件包的HPC研讨会
02-19
关于研讨会 摘要Slurm作业计划程序（目前由USC使用）为您的所有计算需求提供了灵活的基础架构。 从提交单核长时间运行的任务到复杂的多节点任务，Slurm涵盖了计算资源管理方面所有科学家的需求。 R编程语言尽管不支持HPC，但具有多个基于社区的解决方案，可将您的计算管道与HPC设置（包括Slurm）集成在一起。 在本研讨会中，我们将说明如何将R与USC的HPC群集一起使用，涵盖从最基本的内容（例如提交简单的R脚本）到更复杂的功能设置，例如在节点中使用数十个或数百个内核的多节点套接字群集。相同的R会话。 该研讨会将由凯克医学院的南加州大学生物统计学部门主持。 议长 网站可以在查看 快乐科学家精选：Lynn Conway 林恩·康威（Lynn Conway），2006年7月。资料来源： Lynn Ann Conway（生于1938年1月2日）是美国计算机科学家，电气工程师，发明家和变性人
基于HPC场景的集群管理系统（slurm系统初相识）
刘炫320的博客
11-09 3529
LSF是一个比较主流的任务调度系统，包括深圳和苏州的超算中心都是使用的LSF系统，包括Spectrum LSF, PlatformLSF和OpenLava。我接触到的都是PlatformLSF。SGE则包括UGE和SGE，本来是开源的，但是被Oracle收购后就变成了闭源了。PBS则包括OpenPBS,PBS PRO 和Moab/TORQUE，可能由于比较老了吧，目前我没有见到了。
HPC调度基础：slurm集群的部署
天翼云开发者社区
03-30 1914
slurm是一种开源的、具有容错性和高度可扩展的Linux集群超级计算系统资源管理和作业调度系统。具体来说，计算集群使用slurm对资源和作业进行管理和调度，减少计算任务间相互干扰，提高集群运行效率。2016年世界十大超算系统，其中就有五个是使用slurm来进行管理的，甚至有众所周知的2016年冠军超算——神威太湖之光。slurm给超算系统的提供了三个关键功能：1.为用户分配一定时间的专享或非专享的资源(计算机节点)，以执行作业（Job）2.提供了用于启动、执行、监测在节点上运行的作业的框架。
在ACK集群上通过容器化部署并运行Slurm
2401_88127808的博客
12-15 1965
Slurm是一个强大的开源集群资源管理和作业调度平台，专门设计用于优化超级计算机和大型计算集群的性能与效率。其核心组件协同工作，确保系统的高效运作和灵活的管理。Slurm的工作原理如下所示。slurmctld（Slurm Control Daemon）：作为Slurm的中央大脑，slurmctld负责监控系统资源、调度作业并管理整个集群的状态。为了增强系统的可靠性，可配置一个备用slurmctld实现高可用性，确保即使主控制器故障也不会中断服务。
HPC计算集群Slurm使用
LeviLizhi的博客
09-23 1348
srun [options] program命令属于交互式提交作业，有屏幕输出，但容易受网络波动影响，断网或关闭窗口会导致作业中断。如果不关心节点和时间限制，可简写为srun -N 1 -n 4 hostname。使用 srun 命令，配合 -p 分区名 参数，以及 -N 节点数 -n 核心数 进行提交。mixed：混合，节点在运行作业，但有些空闲 CPU 核，可接受新作业。-w cn[01-02] 指定提交作业到cn01,cn02节点。-x cn[01-02] 排除cn01、cn02节点。
HPC自动化
02-07
HPC自动化 该存储库包含在Hetzner Cloud中创建HPC集群的信息和代码。 使用四种工具来构建和管理软件和基础结构： Packer（1.66版） Packer用于在Hetzner Cloud中创建快照。 该快照构成了HPC节点的基础。 Ansible（2.10.4版） Ansible用于安装和配置软件。 Packer在HPC群集创建期间将其用作配置程序。 地形（版本12.29） Terraform用于供应和管理HPC群集VM。 JQ JQ用于解析Terraform的json输出， Google Cloud SDK（可选） Terraform可以使用Google Cloud SDK将状态保存到存储桶中。 无论是否将Google Cloud Storage（GCS）用于远程状态，出于连续性的目的，远程状态都是必需的。 詹金斯（可选） Jenskins用于管理Packer
使用 Slurm Federation 调度实现HPC混合云 Cloudburst
亚马逊云科技专栏
06-02 1187
背景Slurm集群调度系统支持创建集群联合（Federation），并在集群之间以对等方式调度作业。提交到联合集群的作业将收到唯一的作业ID，该ID在联合集群中的所有群集中都是唯一的。作业...
HPC&AI并行计算集群Slurm作业调度系统快速上手
qq_27815483的博客
09-19 1488
Slurm 是一个开源、容错、高度可扩展的集群管理和作业调度系统，适用于大型和小型 Linux 集群。Slurm 的操作不需要修改内核，而且相对独立。作为集群工作负载管理器，slurm 有三个关键功能。首先，它在一段时间内为用户分配对资源(计算节点)的独占和/或非独占访问权，以便他们能够执行工作。其次，它提供了一个框架，用于在分配的节点集上启动、执行和监视工作(通常是一个并行作业)。最后，它通过管理挂起的工作队列来仲裁资源争用。
centos7三节点部署slurm集群详细教程
wu852278685的博客
11-30 2486
​ 文章摘自本人笔记《【slurm】一、centos7三节点部署slurm集群详细教程》，地址：【slurm】一、centos7三节点部署slurm集群详细教程 - 空山人语-IT技术分享学习网站 更多教程可以关注空山人语-IT技术分享学习网站 ​
ubuntu SLURM搭建
qq_41867980的博客
02-22 5299
安装munge（每一个节点都需要安装） 这里有两台机器在一个局域网中，在/etc/hosts上分别配置好IP 和 主机名 IP Master IP Slave1 配置好后看看能不能互相ping通 ssh是否能连上，如果没有安装ssh运行 sudo apt install ssh 在/etc/ssh/sshd_config里的permitrootlogin设置为yes sudo su apt upgrade apt install munge 通过apt安装会找到stable版本，相比于手动
HPC&AI并行计算集群Slurm作业调度系统对通用资源（GRES）的调度
qq_27815483的博客
08-27 2981
Slurm 支持定义和调度任意通用 RESources 的功能 （GRES）。为特定 GRES 类型启用了其他内置功能， 包括图形处理单元 （GPU）、CUDA 多进程服务 （MPS） 设备，并通过可扩展的插件机制进行分片。
Intel oneAPI HPC Toolkit 安装教程（Linux）
XavierJ的博客
11-20 9625
准备工作 安装 HPC Toolkit 之前必须安装 Base Toolkit。（Base Toolkit 安装教程） 安装教程 进入官网地址，选择操作系统、分发和安装程序类型 使用 wget 命令下载安装包 wget https://registrationcenter-download.intel.com/akdlm/irc_nas/18211/l_HPCKit_p_2021.4.0.3347_offline.sh 使用 bash 命令执行安装 bash l_HPCKit_p_2021.
Ubuntu20.04安装Slurm21.08.6（实践篇）
华青水上的博客
06-14 7996
Ubuntu20.04安装Slurm21.08.6（实践篇）
ls -l /etc/slurmdbd.conf -rw------- 1 slurm slurm 274 Jun 22 01:01 /etc/slurmdbd.conf
最新发布
06-23
<think>我们正在处理关于slurmdbd.conf文件权限和所有者设置的问题。根据引用[1]的内容，slurmdbd.conf文件的所有者必须为slurm用户。但是，在之前的对话中，我们遇到了一个错误：`slurmdbd.confownedby991notSlurmUser(0)`，这表明SlurmDBD期望的所有者是UID0（root）或配置的SlurmUser（这里配置的是slurm用户）。然而，引用[1]提到：-slurmdbd.conf的所有者必须为slurm用户-slurm.conf的所有者必须为root用户但根据Slurm官方文档和实际经验，slurmdbd.conf文件的所有权要求如下：1.如果以root身份运行slurmdbd，则配置文件必须由root拥有，且权限为600。2.如果以非root用户（如slurm）运行，则配置文件必须由该用户拥有，且权限为600。但是，在之前的错误信息中，服务期望的SlurmUser是0（root），而文件被UID991拥有，这导致了问题。因此，我们需要明确：-在配置文件/etc/slurmdbd.conf中设置的`SlurmUser`的值是什么？-实际运行slurmdbd服务的用户是谁？根据用户之前的描述，系统用户为root，运行用户为slurm。这似乎有些矛盾，因为通常我们不会用root用户直接运行服务（除非必须）。实际上，slurmdbd服务通常以root启动，然后根据配置中的SlurmUser降权到指定用户。所以，正确的设置应该是：-配置文件slurmdbd.conf的所有者应为root，因为服务启动时是以root身份读取该文件（然后降权到SlurmUser）。-权限必须设置为600，因为该文件包含数据库密码等敏感信息。官方文档（https://slurm.schedmd.com/slurmdbd.conf.html）中明确指出："Theslurmdbd.conffilewouldbereadableonlybytheUserwhichslurmdbdrunsas(typicallyroot)."因此，总结如下：1.当slurmdbd以root用户启动时（这是典型情况），配置文件slurmdbd.conf必须由root拥有，权限为600。2.在配置文件内部，设置`SlurmUser=slurm`，这样slurmdbd进程在初始化后会将其有效用户ID更改为slurm用户。所以，步骤应该是：1.设置slurmdbd.conf的所有者为root，组可以为slurm（但通常组也是root，不过组设置不是关键）：```bashsudochownroot:root/etc/slurm/slurmdbd.confsudochmod600/etc/slurm/slurmdbd.conf```2.在slurmdbd.conf中设置：```SlurmUser=slurm```3.确保slurm用户存在（UID为988，如之前所述）：```bashidslurm```4.启动服务时，使用root权限启动（通过systemctl），然后slurmdbd进程会降权到slurm用户。注意：错误信息中的“SlurmUser(0)”意味着服务期望配置文件由root（UID0）拥有，因为它在启动时是以root身份运行的。因此，用户需要检查：-文件的实际所有者和权限-配置文件中的SlurmUser设置现在，针对用户当前的问题：“我想查看Slurm数据库配置文件的权限和所有者信息”，我们可以提供查看命令。指令：1.使用以下命令查看slurmdbd.conf的权限和所有者：```bashls-l/etc/slurm/slurmdbd.conf```2.检查文件权限是否为600：```bashstat-c%a/etc/slurm/slurmdbd.conf```3.检查配置文件中的SlurmUser设置：```bashgrep^SlurmUser/etc/slurm/slurmdbd.conf```4.检查slurm用户是否存在：```bashidslurm```根据引用[1]的步骤，它要求slurmdbd.conf的所有者为slurm，这与我们上述的官方文档要求（root）不一致。因此，我们需要以官方文档和实际运行情况为准。所以，我们建议用户将slurmdbd.conf的所有者改为root，并设置权限600，同时确保配置文件中指定了SlurmUser=slurm。如果用户之前按照引用[1]设置了slurmdbd.conf为slurm用户所有，那么就可能出现错误。因此需要更正。总结回答：根据Slurm官方文档和最佳实践，`slurmdbd.conf`文件的所有者和权限设置如下：-**所有者**：必须为`root`用户（因为`slurmdbd`服务通常以`root`启动，然后降权到配置中指定的`SlurmUser`）-**权限**：必须为`600`（即只有所有者有读写权限）同时，在配置文件`slurmdbd.conf`中，需要设置：```SlurmUser=slurm```这样，当`slurmdbd`服务启动时：1.以`root`身份读取配置文件。2.根据配置中的`SlurmUser`设置，将进程的有效用户ID切换为`slurm`用户。因此，请执行以下命令检查并修正：```bash#修正所有者和权限sudochownroot:root/etc/slurm/slurmdbd.confsudochmod600/etc/slurm/slurmdbd.conf#验证ls-l/etc/slurm/slurmdbd.conf#期望输出：-rw-------1rootroot[文件大小和日期]/etc/slurm/slurmdbd.conf#检查配置项grepSlurmUser/etc/slurm/slurmdbd.conf#应输出：SlurmUser=slurm#确保slurm用户存在idslurm```如果配置文件中没有设置`SlurmUser`，请手动添加。注意：如果用户将`slurmdbd`配置为以非root用户（如slurm）直接运行（而不是通过root降权），那么配置文件的所有者可以是slurm。但这种方式并不常见，通常我们使用systemctl以root启动，然后降权。因此，我们推荐使用root启动并降权的方式。相关问题：1.如何配置SlurmDBD以使用MySQL数据库？2.如何解决slurmdbd启动失败的问题？3.如何查看slurmdbd的日志以诊断问题？</think>### SlurmDBD 配置文件权限与所有者设置详解 根据 Slurm 官方文档和最佳实践，`slurmdbd.conf` 文件的权限和所有者设置要求如下： #### 关键配置要求 1. **所有者**：必须为 **root** 用户 ```bash sudo chown root:slurm /etc/slurm/slurmdbd.conf ``` - 验证命令：`ls -l /etc/slurm/slurmdbd.conf` 正确输出：`-rw------- 1 root slurm [大小] [日期] /etc/slurm/slurmdbd.conf` 2. **权限**：必须为 **600**（仅所有者可读写） ```bash sudo chmod 600 /etc/slurm/slurmdbd.conf ``` - 验证命令：`stat -c %a /etc/slurm/slurmdbd.conf` 正确输出：`600` 3. **配置文件内容**：需明确指定运行用户 ```ini # /etc/slurm/slurmdbd.conf SlurmUser=slurm # 指定实际运行服务的系统用户 ``` #### 配置逻辑说明 | 配置层级 | 要求 | 原因 | |-----------------|---------------|----------------------------------------------------------------------| | **文件所有者** | root | 服务启动时由 root 加载配置文件，然后降权到 `SlurmUser`[^1] | | **文件权限** | 600 (rw-------) | 保护数据库密码等敏感信息 | | **服务运行身份**| slurm 用户 | 实际执行数据库操作的非特权用户，需在配置文件中声明 | #### 完整配置检查流程 ```bash # 1. 检查文件权限 ls -l /etc/slurm/slurmdbd.conf # 2. 验证配置项 sudo grep ^SlurmUser /etc/slurm/slurmdbd.conf # 3. 确认用户存在 id slurm # 期望输出：uid=988(slurm) gid=988(slurm) groups=988(slurm) # 4. 检查服务状态 systemctl status slurmdbd | grep 'Main PID' # 应显示进程实际运行用户：`Main PID: xxx (slurmdbd)` ``` #### 常见错误处理 若出现权限错误： ```bash # 重置所有权和权限 sudo chown root:slurm /etc/slurm/slurmdbd.conf sudo chmod 600 /etc/slurm/slurmdbd.conf # 重启服务 sudo systemctl restart slurmdbd ``` > **重要提示**：此配置与 `slurm.conf` 不同（后者要求 `root:root` 所有权）[^1]。SlurmDBD 作为数据库守护进程需要更严格的安全设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值