7、超算系统中的模块化工作负载格式与过度承诺调度

超算系统中的模块化工作负载格式与过度承诺调度

1. 模块化工作负载格式（MWF）简介

在超算系统不断发展的背景下，传统的标准工作负载格式（SWF）已难以适应新系统和工作负载的需求。为此，提出了模块化工作负载格式（MWF）。MWF是在DEEP - EST项目背景下开发的，该项目中调度器将多个模块（子集群）作为一个单一集群进行管理。这种架构因允许用户请求专门资源而逐渐流行，但现有格式无法表达其工作负载的语义。

MWF的设计遵循简单原则，与SWF兼容，现有工作负载痕迹可通过直接方法迁移到新格式。与SWF的主要区别在于，MWF可以定义具有多个组件的作业，每个组件有不同的需求和潜在的开始时间。此外，还增加了用于能源评估的额外字段，以及用于需求异构资源和动态工作流管理的字段。

以下是MWF示例工作负载的主要字段表格：
| Mod. | JobID | Num Comp. | Mod. JobName | Comp. JobID | Exta. Requir. | Partition | AfterComp JobID | Dep Type | SchedEventList | Time |
| — | — | — | — | — | — | — | — | — | — | — |
| 1 | 1 | job1 | 1 | – | Default | -1 | -1 | -1 | | |
| 2 | 2 | job2 | 2 | – | Default | -1 | -1 | -1 | | |
| 2 | 2 | job2 | 3 | – | Default | 2 | -1 | -1 | | |
| 4 | 2 | job3 | 4