16、模型服务基础设施全解析

模型服务基础设施全解析

1. 模型加载与卸载

1.1 模型多版本原因

机器学习模型和软件类似，通常会有多个版本。创建新版本模型的频率各不相同，原因也多种多样，例如：
- 对问题有了新的见解后对模型进行改进。
- 为适应不断变化的数据或业务规则而改进模型。
- 为满足法规合规性的变化而改进模型。

随着推理服务需要支持的模型数量不断增加，每天可能会有多次模型部署。

1.2 模型加载方式

模型加载是将新模型加载到服务中以进行预测的过程，是模型部署过程的关键部分。常见的模型加载方法有以下几种：
|加载方式|描述|适用场景|优缺点|
| ---- | ---- | ---- | ---- |
|批量加载|在服务启动时一次性加载所有分配的模型。每次有模型部署时，服务需要重新部署或重启。|模型数量相对较少且不经常更改的情况。|优点：简单；缺点：每次部署需重启服务|
|按需加载|动态加载新的或更新的模型，需要某种轮询技术来确定是否有新的或更新的模型可供加载。|模型数量大或模型经常更改的情况。|优点：动态加载；缺点：需轮询技术|
|混合加载|结合了批量加载的简单性和按需加载的复杂性。|存在频繁更改和不常更改的模型混合的情况。|优点：综合两者优势；缺点：实现和维护较复杂|

1.3 模型卸载

当某个特定模型达到其生命周期的终点，需要将其驱逐时，通常会执行模型卸载操作。根据所采用的模型加载方法，相应地驱逐模型。

2. 特征提取

特征提取是模型推理过程中的重要步骤，如果设计不当，会显著增加模型