24、机器学习模型的弹性服务与可重复性设计

机器学习模型的弹性服务与可重复性设计

1. 两阶段预测模式的替代方案

在许多情况下，两阶段预测模式能够很好地工作。然而，当终端用户的网络连接较差时，就无法依赖云托管模型进行预测。以下是几种应对这种情况的替代方案：

1.1 独立单阶段模型

当终端用户的网络连接很少甚至没有时，可以创建一个更简单、更小的模型版本供用户离线下载使用。虽然这些离线模型的准确性可能不如在线模型，但总比完全没有离线支持要好。为了构建更复杂的离线推理模型，最好使用能够在训练期间和之后对模型权重和其他数学运算进行量化的工具，即量化感知训练。

例如，Google Translate 提供了离线翻译模型，支持超过 50 种语言，模型大小约为 40 - 50 兆字节，准确性接近在线版本。另一个例子是 Google Bolo，这是一款针对儿童的基于语音的语言学习应用程序，完全离线工作，旨在帮助那些无法始终获得可靠互联网接入的人群。

1.2 特定用例的离线支持

另一种解决方案是仅使应用程序的某些部分支持离线使用。可以启用一些常见功能的离线模式，或者缓存机器学习模型的预测结果以供离线使用。这种方法仍然采用两阶段预测，但限制了离线模型覆盖的用例。

例如，Google Maps 允许用户提前下载地图和驾车路线；健身应用程序可以通过蓝牙将健身追踪器的数据同步到用户设备，以支持离线查看当天的健身状态，而健身历史和推荐则可以仅在线提供。还可以在设备离线时存储用户查询，在恢复连接后将其发送到云模型以提供更详细的结果，并提供一个基本的离线推荐模型，在应用程序能够将用户查询发送到云托管模型时进行补充。

1.3 近实时处理大量预测 <