15、模型服务基础设施：架构与实践解析

模型服务基础设施：架构与实践解析

1. 模型服务基础设施概述

在机器学习领域，有句话广为流传：“机器学习项目的投资回报率始于模型投入生产之时”。这意味着，只有当训练好的模型部署并应用于实际生产环境，项目的真正价值才能得以体现。模型服务基础设施在将机器学习模型投入生产并融入组织运营方面发挥着关键作用，例如预测客户流失、检测欺诈活动、个性化客户体验以及提升产品和服务质量等。

与机器学习平台中的其他基础设施相比，模型服务基础设施规模庞大且复杂，需要大量的软件工程投入。尤其是在大规模实时推理以及支持组织内多个团队不断部署和试验大量机器学习模型时，会面临诸多挑战。

1.1 模型推理与预测的区别

模型推理和模型预测是两个紧密相关但含义略有不同的概念：
- 模型推理 ：指使用训练好的机器学习模型对新的、未见过的数据进行预测或决策的过程。
- 模型预测 ：指模型生成的输出或决策，可能是概率得分、分类标签等，基于输入和输出数据之间的学习关系得出。

简而言之，模型推理是基于新数据使用模型进行预测的更广泛过程，而模型预测则是模型生成的输出。

1.2 推理范式

模型推理有两种标准范式：离线推理和在线推理，各自满足不同的推理需求。
- 离线推理 ：使用一批数据以批量模式生成模型预测。
- 在线推理 ：通常用于在线或实时生成模型预测，特别是在需要为用户提供个性化和相关体验的场景中，如电影推荐、欺诈检测、食物送达时间估计等。在这些场景