23、深度学习Web生产环境搭建与实践

深度学习Web生产环境搭建与实践

1. 深度学习生产环境概述

在实际应用中，无论是深度学习（DL）还是经典机器学习（ML），使用模型都颇具挑战。因为数据是ML的驱动力，且数据会随时间变化，所以在生产环境中，ML模型需要定期重新训练。DL作为ML的一个子领域，也不例外。

ML模型的训练方法主要有两种：批量学习和在线学习。

1.1 批量学习

批量学习是指先在特定的数据块上训练ML模型，训练完成后再提供下一个数据块，直到所有数据块都训练完毕，这些数据块被称为批次。在实际项目中，数据量通常很大，无法一次性将所有数据集加载到内存中，批量学习就可以解决这个问题。不过，批量学习也有缺点，后续会详细讨论。实际上，在训练神经网络时，我们经常使用批量学习。

与训练类似，批量的概念也可应用于ML模型的服务，即使用模型对未知数据点进行预测，也称为推理。模型服务分为两种类型：
- 在线服务 ：当模型遇到数据点时，需要立即进行预测，不能有延迟。
- 离线服务 ：先收集一批数据点，然后将这批数据通过模型进行预测，可以接受一定的延迟。

1.2 生产环境中的DL解决方案

常见的深度学习生产环境解决方案主要有以下四种：
| 解决方案 | 特点 |
| — | — |
| Web API服务 | 模型由后端的单独脚本训练并存储，然后作为基于API的服务部署。训练离线进行，按需产生结果，每次响应单个查询并产生单个结果。 |
| 在线学习 | 在服务器脚本执行期间进行学习，模型会随着每个相关查询而变化