m0_57167241的博客

Volcano是CNCF下首个也是唯一的基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。它提供了Kubernetes目前缺 少的一套机制，这些机制通常是机器学习大数据应用、科学计算、特效渲染等多种高性能工作负载所需的。作为一个通用批处理平台，Volcano与几乎所有的主流计算框 架无缝对接，如SparkTensorFlowPyTorchFlinkArgoMindSpore等。它还提供了包括基于各种主流架构的CPU、GPU在内的异构设备混合调度能力。

jupyter多租户NoteBook服务TensorflowPyTorchMPIMXnetChainer当前主要支持的机器学习引擎Seldon提供在Kubernetes上对机器学习模型的部署TF-Serving提供对Tensorflow模型的在线部署，支持版本控制及无需停止线上服务，切换模型等功能Argo基于Kubernetes的工作流引擎Ambassador对外提供统一服务的网关(API Gateway)Istio提供微服务的管理，Telemetry收集Ksonnet。

了解我的朋友应该都知道，我之前一直负责的是云原生网络相关的工作，对容器化，k8s 基本上属于有一定的知识储备。所以本系列的文章主要是一个云原生从业人员的角度去切入到机器学习和大数据方面，对应有一定k8s知识储备的朋友来说可能比较友好，但是对于一些炼丹师朋友来说可能是一个全新的角度，如果需要一些云原生的基础知识的话，也可以看我云原生基础的专栏。

目前的部署方式，我们通过service 的cluster ip 来做副本的服务发现，还需要对多个job 分别编写配置文件，有许多的重复工作，如果是ps 架构，配置想可能更麻烦，所以我们需要一个在k8s集群上统一的作业发布平台，来代替我们配置一些重复工作。