4、深入了解Kubeflow：多租户机器学习环境与组件剖析

深入了解Kubeflow：多租户机器学习环境与组件剖析

1. 共享多租户机器学习环境

在许多组织中，存在多个数据科学家需要共享高价值资源集群（如GPU），或者多个数据科学团队需要访问相同共享资源的情况。此时，组织需要构建多租户机器学习平台，Kubeflow是该场景的理想选择。

1.1 本地多租户环境的优势

• 每个数据科学家都有自己的模型工作流和代码依赖，Kubeflow可以在同一组资源上执行每个用户的工作流，同时将工作流依赖和数据与其他用户的工作隔离开来。
• 借助Kubeflow和Kubernetes的调度与容器管理功能，能够实现资源的高效利用。例如，三个不同的数据科学家可以在单个GPU上运行各自的笔记本，Kubernetes会跟踪谁在什么机器上运行什么代码，以及哪些GPU正在使用，还会对作业队列中的等待作业进行调度。

1.2 团队协作

多租户系统简化了DevOps团队的工作，他们可以专注于维护Kubernetes集群和Kubeflow应用的运行，充分利用Kubernetes的调度、容器调度和资源管理优势。数据科学家能够更灵活地访问所需资源（如GPU），从而更快地构建模型，有助于业务部门更快地评估数据产品的可行性。

2. 构建迁移学习管道

以计算机视觉场景为例，说明如何部署Kubeflow解决实际问题。一个团队希望为自己构建计算机视觉迁移学习管道，以创建用于检测零售商店中特定物品的自定义计算机视觉模型。

2.1 团队基本计划

1. 从TensorFlow模型库中获取基本的计算机视觉模型并使其