runzhliu大数据/容器日记

文章目录1 Overview2 Code3 Test4 Summary1 Overview分布式的 XGBoost 可以用 Spark 来跑，当然也支持用其他分布式的方法去跑，比如用 XGBoost Operator，可以很轻松的实现 XGBoost 算法的分布式执行。2 Code目前在 Kubeflow 的框架下去开发一个机器学习相关的 Operator 已经比较容易了，首先 kubebuilder 打造好 Operator 的框架，然后通过 Kubeflow 社区抽象的 common 包，在新的

文章目录1 Overview2 Deploy2.1 本地部署2.2 init 过程2.2 generate 过程2.3 apply 过程2.4 部署成功2.5 删除3 必须要注意的问题4 部署失败的原因附录Kubeflow = Kubernetes + Machine Learing + Flow1 OverviewKubeflow 是在 K8S 集群上跑机器学习任务的工具集，提供了 T...

文章目录1 Overview2 Deploy3 Summary1 Overview安装条件，可以在 Kubeflow requirements 找到，具体贴出来，因为版本不同，以及 K8S 一些自定义配置会对部署造成影响。P.S. 本文部署的是 v0.6.02 Deploy部署提供了集中场景，分别对应 GCP, AWS, ACK, IBM Cloud 等等，本文主要讲的场景是你已经...

文章目录1 Overview2 Deploy3 SummaryReference1 OverviewKubeflow 集成了机器学习的很多组件，比如训练、调参、模型部署，也包括了像 Tensorflow, Pytorch 等框架的支持。另外就是其还提供了 Pipeline 组件，用于用户定义机器学习的流程，从开始 -> 训练 -> 保存模型，等常见的机器学习任务流。本文主要从单独...

文章目录1 Overview2 理解 Pipeline2 Upload Pipeline3 Summary1 OverviewPipeline 提供了几个内置的 Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个 Pipeline 都要基于 GCP Google 的云平台，但是我们的目的是在自己的集群部署，自然是访问不到 GCP 的，所以根据官网，总结了一些构建 Pipeline...

文章目录1 Overview2 Steps2.1 理解 component 和 pipeline2.2 Python SDK 构建 component 和 pipeline2.3 上传 pipeline3 Summary1 Overview要把 Kubeflow 的 Pipeline 用溜了，肯定是需要有自定义 Pipeline 的能力了，所以需要熟悉一下 Pipeline 里的一些概念。如...

文章目录1 Overview2 ML Workflow3 Summary1 Overview前面文章介绍过如何通过 Pipeline 来构建工作流，因为 Kubeflow 主要是在机器学习的场景下使用的，那么本文就简单介绍一下怎么构建一个简单 ML 的工作流。官网的给出的例子不是太直观，而且和 GCP 有比较强的耦合，不过仔细看看文档，还是可以总结出一套简单的方案的。提前说明一下，需要的工作...