Orion：细粒度无干扰GPU共享调度器

Orion：细粒度无干扰GPU共享调度器

orion An interference-aware scheduler for fine-grained GPU sharing 项目地址: https://gitcode.com/gh_mirrors/orion23/orion

项目介绍

Orion是一个专为机器学习工作负载设计的细粒度、无干扰GPU共享调度器。该项目的核心是基于EuroSys'24论文“Orion: Interference-aware, Fine-grained GPU Sharing for ML Applications”的研究成果。Orion旨在解决多任务在GPU上运行时的资源竞争和干扰问题，通过智能调度策略，优化GPU资源的分配，提高机器学习任务的效率和吞吐量。

项目技术分析

Orion通过拦截CUDA、CUDNN和CUBLAS调用，并将它们提交到软件队列中，实现细粒度的资源管理。调度器根据任务资源需求及其优先级轮询这些队列，并安排操作。Orion的设计允许高优先级客户端和最佳努力（best-effort）客户端共享GPU资源，确保关键任务能够得到足够的资源保障。

项目的架构详细描述在ARCHITECTURE.md文件中，包括系统的详细结构和调度策略。

Orion期望每个提交的任务都有一个文件，其中列出了所有操作及其配置文件和流式多处理器（SM）需求。在PROFILE.md中，详细介绍了如何为客户端应用程序进行性能分析以及如何生成配置文件。

项目及技术应用场景

Orion适用于需要共享GPU资源的多机器学习任务环境。在数据中心的GPU服务器上，经常会有多个任务同时运行，它们可能具有不同的优先级和资源需求。Orion能够有效管理这些任务，减少资源冲突，提高资源利用率，特别适用于以下场景：

• 数据中心的多租户环境
• 科研机构中多个团队共享计算资源
• 企业内部的多任务调度和资源管理

项目特点

1. 细粒度调度：Orion通过细粒度的资源管理，确保每个任务都能获得所需的资源，从而提高任务性能。
2. 无干扰共享：通过优先级管理和资源隔离，Orion使得高优先级任务不会受到低优先级任务的干扰。
3. 易于集成：Orion提供了Python接口，使得集成到现有系统中更加方便。
4. 可扩展性：项目支持NVIDIA GPU，并且可以轻松扩展到其他类型的硬件配置。
5. 文档完备：Orion提供了详细的安装、调试和使用文档，使得用户可以快速上手。

Orion已经在Google Cloud Platform VMs上进行了测试，并且支持了NVIDIA V100和A100 GPU。以下是Orion在论文中使用的硬件配置：

• n1-standard-8 VM (8 vCPUs, 30GB of DRAM) 配置 V100-16GB GPU，CUDA版本为10.2
• a2-highgpu-1g VM (12 vCPUs, 85GB of DRAM) 配置 A100-40GB GPU，CUDA版本为11.3

Orion的安装过程在INSTALL.md文件中有详细说明，用户可以根据自己的需求进行配置。

在使用Orion时，如果遇到任何问题，可以通过查看DEBUGGING.md文件中的指南进行调试。

最后，如果您在研究或工作中使用了Orion，请引用以下论文：

@inproceedings {eurosys24orion,
  author = {Strati Foteini and Ma Xianzhe and Klimovic Ana},
  title = {Orion: Interference-aware, Fine-grained GPU Sharing for ML Applications},
  booktitle = {},
  year = {2024},
  isbn = {},
  address = {},
  pages = {},
  url = {},
  doi = {},
  publisher = {Association for Computing Machinery},
}

通过Orion，用户可以充分利用GPU资源，提高机器学习任务的处理效率，减少资源浪费，是机器学习领域中不可多得的开源工具。

orion An interference-aware scheduler for fine-grained GPU sharing 项目地址: https://gitcode.com/gh_mirrors/orion23/orion