13、机器学习模型训练基础设施详解

机器学习模型训练基础设施详解

1. 编排概述

机器学习管道用于表达各种机器学习任务或步骤及其顺序，无论是顺序执行还是并行执行。对于数据科学家而言，构建和操作这些管道可能非常耗时。此时，现代的、对机器学习友好且以数据驱动的编排系统应运而生，它能加速机器学习模型性能的提升，使管道的开发、调度、监控和管理变得更加容易。

近年来，编排解决方案的成熟度显著提高，以满足现代数据和机器学习工作负载在数据量、数据管道复杂性和机器学习模型训练规模方面的需求。可选方案的数量也从少数几种增加到了十几种。

机器学习管道通常包含两种类型的步骤：数据操作步骤和机器学习步骤，每种步骤都有其特定需求。理想情况下，我们希望采用一个能满足所有这些需求的编排工具。

2. 数据步骤的特定需求

• 多数据源和数据汇 ：特征工程步骤可能需要从各种数据源读取数据，然后将输出持久化到常用的数据汇中。因此，能够以各种数据格式从不同数据源读取数据非常重要。
• 数据处理引擎 ：特征计算通常由Spark或Snowflake等数据处理引擎执行。与各种数据处理引擎进行交互并利用其功能至关重要。
• 将数据视为一等公民 ：数据集或表具有自己的特定属性，如模式、所有权、数据质量检查、分区和服务级别协议（SLA）。将这些属性视为一等构造的编排器能让数据科学家更容易上手。

3. 机器学习步骤的特定需求

• 库版本灵活性 ：每个模型训练脚