21、模型服务：从创建到部署的全面指南

模型服务：从创建到部署的全面指南

1. 模型服务概述

在创建好一个模型后，需要将其投入实际应用以进行预测，这个过程通常被称为“模型服务”。它指的是创建一个结构，确保系统能够让模型对新示例进行预测，并将这些预测结果返回给需要的人员或系统。

以 yarnit.ai 在线商店为例，团队创建了一个能出色预测用户购买特定产品可能性的模型。但如何将模型的预测结果与整个系统集成呢？有多种可能性，每种都有不同的架构和权衡：
1. 将模型加载到美国爱荷华州得梅因市的 1000 台服务器中，并将所有传入流量导向这些服务器。
2. 使用大型离线批处理作业，预先计算最常见的 1 亿种纱线产品和用户查询组合的模型预测结果。每天将这些结果写入共享数据库，供系统读取，对于不在列表中的内容，使用默认分数 p = 0.01。
3. 创建模型的 JavaScript 版本，并将其加载到网页中，以便在用户浏览器中进行预测。
4. 创建一个嵌入模型的移动应用程序，使预测在用户的移动设备上进行。
5. 拥有不同版本的模型，在计算成本和准确性之间进行不同的权衡。创建一个分层系统，在云中提供不同版本的模型，使用不同成本的硬件。将简单的查询发送到较便宜（准确性较低）的模型，将较困难的查询发送到较昂贵（准确性较高）的模型。

2. 模型服务的关键问题

2.1 模型的负载情况

模型服务环境中的首要问题是模型需要处理的流量水平，即每秒查询数（QPS）。不同的应用场景对 QPS 的要求差异很大：
- 为数百万日常用户提供预测的模型，可能每秒需要处理数万个查询。
- 运行音频识别器以监听移动设备上“唤醒词”（如“Hey Y