HAMi 项目使用教程

HAMi 项目使用教程

HAMi Heterogeneous AI Computing Virtualization Middleware 项目地址: https://gitcode.com/gh_mirrors/ha/HAMi

1. 项目介绍

HAMi（Heterogeneous AI Computing Virtualization Middleware）是一个用于 Kubernetes 的异构设备管理中间件。它能够管理不同类型的异构设备（如 GPU、NPU 等），并在 Pod 之间共享这些设备，基于设备的拓扑结构和调度策略做出更好的调度决策。HAMi 旨在消除不同异构设备之间的差距，为用户提供一个统一的接口来管理这些设备，而无需更改应用程序。

HAMi 项目由多个组件组成，包括统一的 mutating webhook、统一的调度器扩展器、不同的设备插件以及针对每种异构 AI 设备的容器内虚拟化技术。

2. 项目快速启动

2.1 环境准备

在开始之前，请确保满足以下前提条件：

• NVIDIA 驱动版本 >= 440
• nvidia-docker 版本 > 2.0
• 容器运行时（如 containerd、docker、cri-o）的默认运行时为 nvidia
• Kubernetes 版本 >= 1.16
• glibc >= 2.17 & glibc < 2.3.0
• 内核版本 >= 3.10
• Helm > 3.0

2.2 安装步骤

1. 标记 GPU 节点： 首先，标记你的 GPU 节点以便 HAMi 进行调度管理。通过添加标签 gpu=on 来标记节点。

   kubectl label nodes [nodeid] gpu=on
   

2. 添加 Helm 仓库： 添加 HAMi 的 Helm 仓库。

   helm repo add hami-charts https://project-hami.github.io/HAMi/
   

3. 检查 Kubernetes 版本： 使用以下命令检查你的 Kubernetes 版本。

   kubectl version
   

4. 安装 HAMi： 根据你的 Kubernetes 服务器版本，设置调度器镜像版本。例如，如果你的集群服务器版本是 1.16.8，使用以下命令进行部署：

   helm install hami hami-charts/hami --set scheduler.kubeScheduler.imageTag=v1.16.8 -n kube-system
   

5. 验证安装： 使用以下命令验证安装是否成功。如果 vgpu-device-plugin 和 vgpu-scheduler Pod 都处于 Running 状态，则安装成功。

   kubectl get pods -n kube-system
   

3. 应用案例和最佳实践

3.1 设备共享

HAMi 支持设备共享，允许通过指定设备内存和核心使用来部分分配设备。例如，一个任务可以请求 1 个 vGPU 和 3000m 的设备内存：

resources:
  limits:
    nvidia.com/gpu: 1
    nvidia.com/gpumem: 3000

3.2 设备资源隔离

HAMi 提供了设备资源隔离功能，确保不同任务之间的资源不会相互干扰。例如，一个任务请求 1 个 vGPU 和 3000m 的设备内存，容器内将看到 3G 的设备内存。

4. 典型生态项目

4.1 Kubernetes

HAMi 是基于 Kubernetes 的异构设备管理中间件，与 Kubernetes 生态紧密结合。通过 HAMi，Kubernetes 可以更好地管理和调度异构设备，提升集群的资源利用率。

4.2 NVIDIA GPU

HAMi 支持 NVIDIA GPU 的虚拟化和共享，使得多个 Pod 可以共享同一个 GPU，提高 GPU 的利用率。这对于需要大量 GPU 资源的 AI 训练和推理任务尤为重要。

4.3 其他异构设备

除了 GPU，HAMi 还支持其他类型的异构设备，如 NPU 等。通过 HAMi，用户可以统一管理这些设备，无需为每种设备编写单独的管理代码。

---

通过以上步骤，你可以快速启动并使用 HAMi 项目，实现异构设备的虚拟化和共享，提升 Kubernetes 集群的资源利用率。

HAMi Heterogeneous AI Computing Virtualization Middleware 项目地址: https://gitcode.com/gh_mirrors/ha/HAMi