3、机器学习项目的成功之道：从前期筹备到模型落地

机器学习项目的成功之道：从前期筹备到模型落地

1. 机器学习项目概述

在过去十年里，数据和计算能力的爆炸式增长，使得机器学习（ML）成为一项至关重要的技术。然而，成功交付机器学习项目并非易事，还可能带来一些负面影响。与其他项目不同，机器学习项目依赖复杂的数据，需要团队创建和管理基于这些数据的模型，并且要紧密契合用户和利益相关者的需求。

一个成功的机器学习项目，需要从需求和数据中排除风险，捕捉非功能性和功能性需求，并培养处理和评估模型的能力。同时，整个项目生命周期都要与社会和利益相关者的需求保持一致，以避免不良后果。我们可以借鉴敏捷软件开发和DevOps社区的理念来助力项目开发。

1.1 机器学习项目流程

常见的机器学习项目流程包括项目设置、建模与训练、服务以及数据管道等环节。不同的方法论对这一流程有不同的描述，例如Huyen和Hopper（2020）以及《机器学习工程（MLE）》（Burkov 2020）都对其进行了阐述。这些方法论有很多共同点，都认为建模过程是迭代的，可能需要重新进入开发周期的其他部分。它们都属于MLOps范畴，具有敏捷性和适应性，强调通过管道开发实现自动化。

在实现自动化方面，会运用多种工具。例如，使用版本控制来管理代码、模型和特征；利用自动化管道来移动和转换数据，以及测试和部署模型。

1.2 文档的重要性

近年来，人们越来越重视文档在机器学习项目中的作用，尤其是关于数据和模型的谱系和来源。例如，谷歌和Hugging Face为部分模型发布了模型卡片/模型报告。电信管理论坛（TM Forum）倡导的开发过程，通过维护监管链来确保模型得到理解和控制。这些实践都强调了记录所产生