13、使用Kubeflow和TensorFlow Extended构建自定义模型管道

最新推荐文章于 2025-12-26 09:55:37 发布

原创最新推荐文章于 2025-12-26 09:55:37 发布 · 25 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Kubeflow # TensorFlow Extended # TFX

玩转谷歌云AI：从零到英雄专栏收录该内容

16 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

使用Kubeflow和TensorFlow Extended构建自定义模型管道

在机器学习和深度学习领域，将模型投入生产并确保其高效运行是一项极具挑战性的任务。本文将介绍如何使用Kubeflow和TensorFlow Extended（TFX）构建自定义模型管道，包括创建工作台、编写管道代码、执行管道以及比较不同管道等内容。

1. 使用Kubeflow构建自定义模型管道

首先，我们来了解如何使用Kubeflow构建自定义模型管道。整个过程包含多个步骤，下面将详细介绍。

1.1 创建工作台

创建Vertex AI工作台可以通过云shell完成，具体步骤如下：
1. 激活云shell ：点击云shell图标激活，然后输入以下命令：

gcloud notebooks instances create kubeflow-custom-ml \
    --vm-image-project=deeplearning-platform-release \
    --vm-image-family=common-cpu-notebooks \
    --machine-type=n1-standard-4 \
    --location=us-central1-a

查看创建的工作台 ：创建完成后，新工作台会显示在Vertex AI的工作台部分，点击“OPEN JUPYTERLAB”。

1.2

订阅专栏解锁全文

会员秒杀 ¥9.9 重磅福利

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

秃然暴富

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

政安晨：【深度学习部署】—— TensorFlow Extended（TFX）介绍

政安晨——致力于AI人工智能数字互动领域

03-24

2107

TensorFlow Extended（TFX）是基于 TensorFlow 的谷歌生产规模机器学习平台。它提供了一个配置框架，用于表达由 TFX 组件组成的 ML 管道。TFX 管道可使用 Apache Airflow 和 Kubeflow 管道进行协调。组件本身以及与协调系统的集成都可以扩展。

14、使用TensorFlow Extended构建机器学习管道

vscode6remote的博客

10-02

本文详细介绍了如何使用TensorFlow Extended（TFX）构建端到端的机器学习管道。涵盖了TFX的核心组件如ExampleGen、StatisticsGen、SchemaGen、ExampleValidator、Transform、Trainer和Pusher等的功能与使用方法，并通过实际代码演示了从数据摄取、特征工程、模型训练到部署的完整流程。同时介绍了自定义组件的三种类型及常见问题解决方案，帮助读者构建高效、可扩展的ML工作流。

参与评论您还未登录，请先登录后发表或查看评论

27、机器学习管道与模型可解释性技术详解

kkk56的博客

08-29

本文详细解析了机器学习管道的构建与模型可解释性技术的应用。内容涵盖 Kubeflow 管道搭建、代码容器化、组件编写与连接、缓存机制及模型可解释性的多种技术方法，包括 LIME、KernelSHAP、Integrated Gradients 和 xRAI，并结合实例分析其适用场景。通过合理搭建管道和使用可解释性技术，可提升模型开发效率与可信度，为 MLOps 实践提供重要支撑。

13、机器学习管道构建与分析全解析

metaverse5vr的博客

09-27

本文深入解析了机器学习管道的构建与分析全过程，涵盖管道提交、状态监控、工件与谱系查看、指标与KPIs评估，并介绍了Vertex AI与Kubeflow管道的差异。通过TFX组件如ExampleGen、StatisticsGen、Trainer等实现端到端的自动化流程，结合代码示例详细展示了从环境配置到管道执行的完整步骤。同时提供了管道比较方法、资源管理建议及实际应用中的优化注意事项，帮助用户高效构建可扩展的机器学习生产系统。

28、使用TFX CLI发布和管理机器学习管道

yyy34的博客

10-12

本文详细介绍了如何使用TFX CLI将基于TFX模板的机器学习管道发布到Kubeflow Pipelines，并进行创建、运行、状态检查及管理。涵盖了从数据摄入、预处理、模型训练与评估到部署的完整流程，同时探讨了数据隐私、模型监控、实验跟踪等关键概念。文章还介绍了TFX支持的编排工具、自定义组件开发以及未来发展方向，帮助读者构建高效、安全、可维护的机器学习管道。

TensorFlow Extended (TFX) 生产环境模型版本控制与回滚实战指南

Programming Talk

05-29

760

版本命名规范采用v-<日期>-<时间>格式（如添加业务语义前缀（如版本保留策略# 自动清理旧版本（保留最近5个）灾备方案设计维护一个已知稳定的 "golden version"实现一键回退到安全版本的热切换机制版本元数据增强# 记录训练参数和数据集版本model=...,分钟级模型版本切换能力可视化版本性能对比基于指标的自动回滚触发完整的模型版本审计追踪。

为什么企业都在用TensorFlow进行大规模模型训练？

weixin_42181686的博客

12-26

946

在大规模AI系统中，TensorFlow凭借其端到端的工程闭环、稳定的生产部署能力和成熟的分布式训练支持，成为企业首选。从计算图优化到TFX流水线，它提供了一套完整、可控、可维护的MLOps体系，确保模型从训练到上线的一致性与可靠性。

15、模型优化与Vertex AI管道部署：NAS与Kubeflow实践

lambda的博客

08-05

115

本文介绍了两种重要的模型优化技术——神经架构搜索（NAS）和超参数调优（HPT），并探讨了如何利用Vertex AI Pipelines编排机器学习工作流。通过实际案例展示了在Vertex AI上使用Kubeflow管道实现数据加载、模型训练、评估和部署的完整流程。文章还分析了NAS与HPT的区别、各自的核心组件与最佳实践，并提供了管道组件的详细解析及实际应用中的注意事项，为构建高效、可重复的机器学习解决方案提供了指导。

19、机器学习管道：自定义组件与编排工具详解

gan8painter的博客

08-24

本文详细介绍了如何通过自定义组件扩展 TensorFlow Extended (TFX) 管道，以高效处理图像数据并生成 tf.Examples。同时，对比了主流的管道编排工具，如 Apache Beam、Apache Airflow 和 Kubeflow Pipelines，并指导如何根据业务需求选择合适的工具实现机器学习管道的自动化运行。文章还提供了将交互式 TFX 管道转换为生产环境代码的具体步骤，并通过代码示例展示了如何使用 Beam 和 Airflow 编排完整的机器学习流程。

基于stm32的万年历.zip

01-09

基于stm32的万年历.zip

基于STM32的全自动节水灌溉系统.zip

01-09

基于STM32的全自动节水灌溉系统.zip

13.000.001.0503.zip

最新发布

01-09

13.000.001.0503.zip

基于JavaWeb的线上数码个性化购物平台的设计与实现源码.zip

01-09

基于JavaWeb的线上数码个性化购物平台的设计与实现源码.zip

SCI复现基于纳什博弈的多微网主体电热双层共享策略研究（Matlab代码实现）

01-09

【SCI复现】基于纳什博弈的多微网主体电热双层共享策略研究（Matlab代码实现）内容概要：本文围绕“基于纳什博弈的多微网主体电热双层共享策略研究”展开，结合Matlab代码实现，复现了SCI级别的科研成果。研究聚焦于多个微网主体之间的能源共享问题，引入纳什博弈理论构建双层优化模型，上层为各微网间的非合作博弈策略，下层为各微网内部电热联合优化调度，实现能源高效利用与经济性目标的平衡。文中详细阐述了模型构建、博弈均衡求解、约束处理及算法实现过程，并通过Matlab编程进行仿真验证，展示了多微网在电热耦合条件下的运行特性和共享效益。; 适合人群：具备一定电力系统、优化理论和博弈论基础知识的研究生、科研人员及从事能源互联网、微电网优化等相关领域的工程师。; 使用场景及目标：① 学习如何将纳什博弈应用于多主体能源系统优化；② 掌握双层优化模型的建模与求解方法；③ 复现SCI论文中的仿真案例，提升科研实践能力；④ 为微电网集群协同调度、能源共享机制设计提供技术参考。; 阅读建议：建议读者结合Matlab代码逐行理解模型实现细节，重点关注博弈均衡的求解过程与双层结构的迭代逻辑，同时可尝试修改参数或扩展模型以适应不同应用场景，深化对多主体协同优化机制的理解。

【物体识别尺度不变性图像匹配】尺度不变关键点的独特图像特征（Matlab代码实现）

01-09

【物体识别尺度不变性图像匹配】尺度不变关键点的独特图像特征（Matlab代码实现）内容概要：本文档围绕“物体识别、尺度不变性、图像匹配”主题，重点介绍了利用尺度不变特征变换（SIFT）算法提取图像中具有尺度不变性的关键点，并结合RANSAC算法实现高分辨率图像的精确匹配与伪造检测。文档提供了完整的Matlab代码实现，详细展示了如何构建独特图像特征以应对旋转、缩放和平移变化，确保在不同条件下仍能稳定识别和匹配图像内容。此外，文档还提到了图像处理技术在科研中的广泛应用，包括图像识别、分割、配准、融合等，突出其在实际项目中的技术价值。; 适合人群：具备一定图像处理基础和Matlab编程经验的科研人员、研究生及从事计算机视觉相关工作的技术人员。; 使用场景及目标：①用于高分辨率图像的匹配与拼接任务；②应用于图像伪造检测与版权保护；③支持物体识别系统中对尺度、角度变化的鲁棒性需求；④为学术研究和工程实践提供可复现的技术方案与代码参考。; 阅读建议：建议读者结合文档提供的Matlab代码进行实践操作，重点关注SIFT特征提取与RANSAC匹配优化的实现细节，同时可拓展学习其他图像处理技术模块以增强综合应用能力。

【毕业设计】STM32智能小区充电桩系统MF-毕业源码案例设计.zip

01-09

【毕业设计】STM32智能小区充电桩系统MF-毕业源码案例设计.zip

轻量级模块化C ++ 11图形中间件用于游戏和数据可视化

01-09

先看效果： https://pan.quark.cn/s/f766d9b4fe56 big_screen 数据大屏可视化功能便利性工具, 结构简单, 直接传数据就可以实现数据大屏安装运行大数据可视化展板通用模板 http://127.0.0.1:5000/ 4600 万企业数据大屏可视化 http://127.0.0.1:5000/corp (2020-09) 厦门 10 万招聘数据大屏可视化 http://127.0.0.1:5000/job 示例 image 使用 1、编辑 data.py 中的 SourceData 类（或者新增类，新增的话需要编辑 app.py 增加路由，请参考 CorpData/JobData） 2、从任何地方读取你的数据，按照 SourceDataDemo 的数据格式，填充到 SourceData 类 3、运行 python app.py 查看数据变更后的效果参考 https://gitee.com/lvyeyou/DaShuJuZhiDaPingZhanShi

多层住宅结构CAD图纸(钢结构设计)-全套.zip

01-09

根据原作 https://pan.quark.cn/s/9318c6164bd5 的源码改编 CAD与GIS集成说明 mapbox地图与cad图纸的集成示例代码说明点击演示示例查看效果点击下载示例源码 mapbox-gl.js是通过webgl渲染交互式地图的js库利用mapbox提供的自定义图层实现渲染mxdraw中的CAD图纸(three.js 场景)。如果不了解mapbox-gl.js可以参考中文官方文档 / 国际站什么是mxdraw? 下面代码是mapbox和mxdraw结合使用的示例代码。先安装对应的依赖包: mapbox集成更多其他GIS库的能力 mapbox 与 L7框架我们可以在mapbox基础上扩展L7框架的能力使mapbox的功能更加强大 L7 是由蚂蚁金服 AntV 数据可视化团队推出的基于 WebGL 的开源大规模地理空间数据可视分析开发框架点击 AntV L7 官方文档查看使用L7提供的功能以下是简单的L7结合mapbox的集成代码：按照上述代码，在mapbox地图上就可以使用L7提供的能力了。更加详细的代码请参考源码示例中L7文件夹的代码点击查看： / gitee

Arduino绘画教学机器人

01-09

绘画教学机器人是一种借助现代科技辅助人们进行绘画活动的教学工具。在当前这份资料中，我们重点阐述了基于Arduino开发板构建的绘画教学机器人，该设备运用图像识别和电机控制技术来完成自动绘画工作。代码转载自：https://pan.quark.cn/s/128130bd7814 以下是本资料中的核心内容：1. Arduino及其在机器人中的应用：Arduino是一个开放源代码的电子原型平台，它包含一块能够执行输入/输出操作的电路板以及配套的编程系统，通常用于迅速构建交互式电子装置。在本次项目中，Arduino充当机器人的核心部件，负责接收图像分析后的数据，并将这些数据转化为调控步进电机旋转的指令，进而引导笔架在白板上进行作画。 2. 图像识别技术：图像识别技术是指赋予计算机识别和处理图像中物体能力的技术手段。本项目的图像识别功能由摄像头承担，它能够获取图像，并将彩色图像转化为灰度图像，再采用自适应阈值算法处理为二值图像。随后，通过图像细化方法提取出二值图像的骨架信息，用以确定绘画的目标和路径。 3. 电机控制机制：电机控制是指借助电子技术对电机运行状态进行管理。在本项目中，两个步进电机由Arduino进行控制，实现精准的位置控制，从而达到绘画的目的。步进电机的正转与反转动作能够驱动笔架部件，沿着预设的轨迹进行绘画。 4. 机器人设计要素：机器人的设计涵盖了图像处理单元、机械控制单元和图像处理算法。机械单元的设计需要兼顾画笔的支撑构造，确保画笔的稳定性，并且能够适应不同的绘画速度和方向。在硬件设计层面，选用了ULN2003驱动器来增强Arduino输出的信号，以驱动步进电机运转。 5. 所采用的技术工具与材料：项目中的主要硬件设备包括Arduino控制板、步进电机、ULN...

torch知识点，Tensorflow知识点

09-27

<think>我们正在讨论PyTorch和TensorFlow的知识点。根据引用内容，我们可以总结出以下关键点： 1. **PyTorch基础操作**（来自引用[1]）： - 张量创建：使用`torch.tensor()`可以从列表、元组等数据结构创建张量。 - 示例：`torch.tensor([[1, 2], [3, 4]])` 创建了一个2D整型张量，`torch.tensor((1.0, 2.5, 3.3))` 从元组创建了浮点张量。 2. **部署工具对比**（来自引用[2]）： - TensorFlow有成熟的部署工具TensorFlow Serving。 - PyTorch的部署工具TorchServe相对较新，但提供了基本功能（如模型归档、服务器、API端点等），并支持HuggingFace等框架。 3. **环境配置**（来自引用[3]）： - 在Ubuntu系统中配置深度学习环境（包括Anaconda、CUDA、cuDNN、PyTorch和TensorFlow）的步骤示例。用户希望获取torch和tensorflow的知识点，我们可以从以下几个方面展开： - 基础概念（张量、计算图） - 模型构建与训练 - 部署工具 - 生态系统下面我将组织知识点，并按照要求使用LaTeX格式。 ### PyTorch与TensorFlow对比 #### 1. 基础概念 - **PyTorch**: 动态计算图（即时执行），更接近Python编程习惯。例如： ```python import torch a = torch.tensor([1.0], requires_grad=True) b = torch.tensor([2.0]) c = a * b c.backward() print(a.grad) # 输出梯度值 ``` - **TensorFlow**: 早期使用静态计算图（先定义后执行），2.0版本引入了即时执行（Eager Execution），同时保留静态图（Graph Execution）模式。示例： ```python import tensorflow as tf a = tf.constant([1.0]) b = tf.constant([2.0]) c = a * b # 在Eager模式下直接输出结果 print(c) ``` #### 2. 模型构建 - **PyTorch**：使用`nn.Module`定义模型： ```python class Net(torch.nn.Module): def __init__(self): super(Net, self).__init__() self.fc = torch.nn.Linear(10, 1) def forward(self, x): return self.fc(x) ``` - **TensorFlow**：可以使用Keras API（高级）或自定义模型（低级）： ```python model = tf.keras.Sequential([ tf.keras.layers.Dense(1, input_shape=(10,)) ]) ``` #### 3. 训练流程两者训练流程相似，都包含： - 定义模型 - 定义损失函数和优化器 - 迭代数据，前向传播、计算损失、反向传播、更新参数 #### 4. 部署 - **TensorFlow**: 使用TensorFlow Serving进行部署，支持模型版本管理和REST/gRPC接口[^2]。 - **PyTorch**: 使用TorchServe（仍在发展中），提供模型归档、API端点等功能[^2]。 #### 5. 生态系统 - **PyTorch**：在学术界更受欢迎，拥有丰富的库（如HuggingFace Transformers）。 - **TensorFlow**：在工业界部署更成熟，支持移动端（TensorFlow Lite）、浏览器（TensorFlow.js）等。 ### 环境配置在Ubuntu系统中，通常需要配置： 1. 安装NVIDIA驱动 2. 安装CUDA和cuDNN（例如CUDA 11.1[^3]） 3. 安装Anaconda 4. 使用pip或conda安装PyTorch和TensorFlow 例如PyTorch安装命令（CUDA 11.1）： ```bash pip install torch==1.9.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html ``` TensorFlow安装命令（CUDA 11.1）： ```bash pip install tensorflow-gpu==2.5.0 ``` 以上是PyTorch和TensorFlow的主要知识点对比。接下来，我们将生成相关问题。 §§相关问题§§ 1. PyTorch动态计算图和TensorFlow静态计算图有什么区别？ 2. 如何在PyTorch和TensorFlow中实现自定义层？ 3. 如何选择使用PyTorch还是TensorFlow？ 4. TorchServe和TensorFlow Serving在部署模型时有哪些主要区别？ 5. 在配置深度学习环境时，如何检查CUDA和cuDNN是否正确安装？ </think>### PyTorch与TensorFlow核心知识点总结 #### 一、基础操作对比 1. **张量创建** - PyTorch（引用[1]）： ```python torch.tensor([[1, 2], [3, 4]]) # 2D整型张量 torch.tensor((1.0, 2.5, 3.3)) # 元组转浮点张量 ``` - TensorFlow： ```python tf.constant([[1, 2], [3, 4]]) # 2D常量张量 tf.convert_to_tensor((1.0, 2.5, 3.3)) # 元组转张量 ``` 2. **计算图特性** - TensorFlow：早期采用**静态计算图**（先定义后执行） ```python # TF 1.x风格 a = tf.placeholder(tf.float32) b = tf.placeholder(tf.float32) c = tf.add(a, b) with tf.Session() as sess: sess.run(c, feed_dict={a: 1.0, b: 2.5}) # 输出3.5 ``` - PyTorch：默认**动态计算图**（即时执行） ```python a = torch.tensor(1.0) b = torch.tensor(2.5) c = a + b # 直接输出tensor(3.5) ``` #### 二、部署能力比较（引用[2]） | 特性 | TensorFlow Serving | TorchServe | |--------------|----------------------------------|--------------------------------| | 成熟度 | ✅ 生产级稳定 | ️ 实验阶段（快速迭代中） | | 核心功能 | 模型版本管理/REST+gRPC接口 | 模型归档/API端点/指标监控 | | 扩展支持 | TensorFlow Lite/JS | HuggingFace/Waveglow/AWS | | 性能优化 | 自动批处理/模型预热 | 基础批处理/快照管理 | #### 三、生态系统差异 1. **PyTorch优势** - 学术研究首选（论文代码复现率$\geq 85\%$） - 调试友好：Pythonic动态图设计 - TorchVision/TorchText等扩展库丰富 2. **TensorFlow优势** - 工业部署成熟：TFX管道/Kubeflow支持 - 跨平台支持：移动端(TFLite)/网页端(TF.js) - 生产工具链：TensorBoard可视化/TensorFlow Extended #### 四、环境配置建议（引用[3]）通用Ubuntu深度学习环境流程： 1. 安装CUDA（示例CUDA 11.1） ```bash wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda_11.1.0_455.23.05_linux.run sudo sh cuda_11.1.0_455.23.05_linux.run ``` 2. 安装框架： ```bash # PyTorch (CUDA 11.1) pip install torch==1.9.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html # TensorFlow 2.x pip install tensorflow-gpu==2.6.0 ``` 3. 验证安装： ```python import torch print(torch.cuda.is_available()) # 应返回True import tensorflow as tf print(tf.config.list_physical_devices('GPU')) # 应显示GPU信息 ``` > 注：实际选择需考虑项目需求——**研究原型推荐PyTorch，生产部署首选TensorFlow**[^2]