25、机器学习模型预测的优化与实现

机器学习模型预测的优化与实现

1. 内存方法的问题

在机器学习模型预测中，内存方法存在两个关键问题：抽象性和性能。

1.1 抽象性问题

机器学习工程师和数据科学家开发的模型与将模型预测集成到面向用户应用程序的开发人员所使用的工具和技能不同。当前的抽象程度并不完全，客户端程序员仍有一些要求：
- 客户端机器需要安装 TensorFlow 库。
- 目前 TensorFlow API 仅可从 Python、C、Java、Go 和 JavaScript 调用，客户端必须用这些语言编写。
- 客户端程序员需要理解张量形状和即时执行等概念。

为了提高抽象性，使用如 HTTPS 这样能在多种语言和环境中使用的协议来调用模型会更好，并且以通用格式（如 JSON）提供输入和获取结果。

1.2 性能问题

在内存方法中，模型直接在客户端程序中加载和调用，客户端需要大量内存和加速器（如 GPU 或 TPU）。性能问题通常在以下四种场景中体现：
| 场景 | 描述 |
| ---- | ---- |
| 在线预测 | 有许多并发客户端需要近乎实时的预测，如电商网站的产品照片分类。 |
| 批量预测 | 需要对大量图像数据集进行推理，单张图像处理时间长会导致整体推理时间过长。 |
| 流预测 | 需要对流入系统的图像进行实时推理，流量高峰时可能导致系统处理不过来。 |
| 边缘预测 | 低连接性客户端需要近乎实时的预测，如工厂传送带零件缺陷检测或手机应用根据摄像头画面决策。 |

2. 在线预测

在线预测需要