17、高性能计算中的动态资源管理与应用干扰检测

高性能计算中的动态资源管理与应用干扰检测

在高性能计算领域，应用程序的高效运行和资源的合理利用一直是研究的重点。本文将介绍两个重要方面的内容，一是 LIMITLESS 框架在应用性能预测和干扰检测方面的新特性，二是基于 MPI Sessions 实现动态资源管理的相关研究。

LIMITLESS 框架：应用性能预测与干扰检测

LIMITLESS 是一个轻量级的监控和调度框架，旨在监控和调度大规模计算基础设施上应用程序的执行。该框架的一个新特性是基于其迭代生成的性能模型，从集群中执行的应用程序创建合成微基准测试（代理）。

• 性能预测 ：LIMITLESS 的主要特点之一是性能预测。通过收集数据生成代理，再利用这些代理生成新的执行数据，将其纳入数据集来训练网络和机器学习算法。这样，LIMITLESS 可以在一次执行且无需用户干预的情况下预测应用程序的性能。
• 应用代理优势 ：这些应用代理可以共享，以展示平台上实际应用程序的性能，因为它们不包含专有信息，也不包含原始应用程序的任何代码片段。
• 干扰研究 ：系统使用不同的应用代理来进行应用程序之间的干扰研究，使调度器能够在兼容的应用程序之间共享节点。如果在实际应用程序执行过程中出现性能下降（干扰）的情况，系统将检测到这种情况，并通过应用程序迁移或利用可扩展性特性增加或减少进程来避免干扰。

MPI 动态资源管理：基于 MPI Sessions 的方法

当前基于 MPI 的应用程序在超级计算机上的静态作业调度是限制系统应