27、机器学习管道与模型可解释性技术

机器学习管道与模型可解释性技术

1. 机器学习管道概述

大多数机器学习管道遵循一套相当标准的步骤：数据验证、数据转换、模型训练、模型评估、模型部署和模型监控。如果你的管道遵循这些步骤，可以利用TensorFlow Extended (TFX) 以Python API形式提供的更高级抽象，这样就无需在DSL和容器化步骤层面工作。

2. Kubeflow管道集群搭建

要执行Kubeflow管道，需要一个集群。可以在Google Cloud上通过导航到AI Platform Pipelines控制台并创建一个新实例来设置集群。启动后，会得到一个打开Pipelines仪表板的链接和一个提供主机URL的设置图标。

可以在Jupyter笔记本中开发管道，然后将其部署到集群。可参考GitHub上的07e_mlpipeline.ipynb中的完整代码。

3. 代码库容器化

有了集群后，管道的第一步是将JPEG文件转换为TensorFlow Records。之前编写了一个名为jpeg_to_tfrecord.py的Apache Beam程序来处理此任务。为了使这个过程可重复，需要将其封装到一个包含所有依赖项的容器中。

构建能够执行该程序的容器，需要执行以下步骤：
1. 获取与Notebook实例对应的容器镜像。
2. 安装任何额外的软件依赖项。需要安装两个额外的Python包：apache-beam[gcp]和cloudml-hypertune。
3. 复制脚本。最好复制整个存储库，因为可能还需要存储库中的其他代码用于其他任务。

以下是执行上述三个步骤的Dock