22、机器学习模型服务架构与API设计全解析

机器学习模型服务架构与API设计全解析

在机器学习模型的实际应用中，选择合适的服务架构和设计有效的API至关重要。下面将详细介绍四种常见的模型服务架构，并探讨模型API设计的要点。

1. 模型服务架构分类

常见的模型服务架构主要分为以下四大类：
- 离线服务（Offline）
- 在线服务（Online）
- 模型即服务（Model as a Service，MaaS）
- 边缘服务（Serving at the Edge）

2. 离线服务（Batch Inference）

离线服务通常是实现起来最简单、最快的方式，面向终端用户的应用并不直接与模型交互。模型会提前进行训练，也就是所谓的“批量推理”。批量推理能避免在不需要按需访问模型进行预测的情况下，托管模型所带来的问题。其工作原理是加载模型，并针对预定义的输入数据“离线”执行预测。预测结果会作为简单的数据集存储起来，比如存储在数据库、.csv文件或其他数据存储资源中。当需要这些预测结果时，就像从数据存储中加载静态数据资源一样简单。本质上，通过离线计算模型预测结果，将按需的模型预测转化为更标准的简单数据查找问题。

示例 ：在yarnit.ai平台上，针对特定用户子集计算每个产品的受欢迎程度，可以在低负载时段离线完成，然后在渲染页面时，将其作为排序辅助工具。

如果使用场景要求不高，甚至可以避免通过数据库存储和提供模型预测结果的复杂性，将预测结果写入平面文件或内存数据结构，并在应用程序中直接使用。例如，在电商网站中，搜索查询意图分类器（区分特定产品和宽泛类别）可以帮助查询引擎重写查询，以更高效地