kaito：简化Kubernetes中的AI/ML模型部署

kaito：简化Kubernetes中的AI/ML模型部署

kaito Kubernetes AI Toolchain Operator 项目地址: https://gitcode.com/gh_mirrors/ka/kaito

项目介绍

Kaito是一个Kubernetes自动化操作工具，专注于AI/ML模型的推理或微调工作负载。它支持处理流行的开源大型模型，例如falcon和phi-3。Kaito通过以下特点，在Kubernetes上简化了大型AI推理模型的部署流程：

• 使用容器镜像管理大型模型文件。
• 提供预设配置，避免根据GPU硬件调整工作负载参数。
• 支持流行的开源推理运行时：vLLM和transformers。
• 根据模型需求自动配置GPU节点。
• 在公共Microsoft容器注册表中托管大型模型镜像（若许可允许）。

项目技术分析

Kaito遵循经典的Kubernetes自定义资源定义（CRD）/控制器设计模式。用户管理一个名为workspace的自定义资源，描述GPU需求和推理或微调规范。Kaito控制器通过协调workspace自定义资源来自动部署。

Kaito架构主要包括以下组件：

• Workspace控制器：它协调workspace自定义资源，创建machine自定义资源以触发节点自动配置，并根据模型预设配置创建推理或微调工作负载（deployment、statefulset或job）。
• 节点配置控制器：在gpu-provisioner的helm图表中，该控制器名为gpu-provisioner。它使用来自Karpenter的machine CRD与workspace控制器交互，并集成Azure Resource Manager REST API以向AKS或AKS Arc集群添加新的GPU节点。

项目及技术应用场景

Kaito适用于需要在Kubernetes集群中部署和运行大型AI/ML模型的场景。无论是需要处理大规模推理任务，还是进行模型微调，Kaito都能够简化部署流程。以下是一些典型的应用场景：

• 大规模模型推理：利用Kubernetes集群的弹性，Kaito可以快速部署和扩展模型推理服务。
• 模型微调：Kaito支持模型微调，使用户能够直接在Kubernetes上对大型模型进行微调。
• 多模型管理：Kaito支持管理多个大型模型，为用户提供了一个统一的平台来部署和管理不同类型的模型。

项目特点

Kaito的几个关键特点使其在Kubernetes上部署AI/ML模型时脱颖而出：

• 容器镜像管理：通过容器镜像管理大型模型文件，简化了模型部署和升级过程。
• 预设配置：提供了预设配置，减少了用户根据不同GPU硬件调整工作负载参数的需求。
• 自动节点配置：根据模型需求自动配置GPU节点，提高了资源利用率。
• 公共镜像托管：在公共容器注册表中托管模型镜像，便于用户快速获取和部署模型。

Kaito通过这些特点，为Kubernetes上的AI/ML模型部署提供了一个高效、灵活的解决方案，有助于用户快速实现从模型开发到生产部署的全流程自动化。

kaito Kubernetes AI Toolchain Operator 项目地址: https://gitcode.com/gh_mirrors/ka/kaito