27、模型优化与移动设备部署

模型优化与移动设备部署

1. 运行环境要求

若要运行示例 iOS 应用，需要一台兼容的设备以及安装了 Xcode 的 Mac 电脑；若要运行 Android 应用，则需要一台 Android 设备。

2. 优化计算和磁盘占用

在使用计算机视觉模型时，有几个关键特性需要关注。优化模型速度可使其实现实时运行，拓展更多应用场景；将模型准确率提高几个百分点，可能会使模型从玩具模型转变为实际可用的应用。此外，模型大小也很重要，它会影响存储占用和下载时间，对于手机或网页浏览器等平台，模型大小对最终用户至关重要。接下来将介绍提高模型推理速度和减小模型大小的技术。

2.1 测量推理速度

推理指的是使用深度学习模型进行预测的过程，通常以每秒处理的图像数量或每张图像的处理时间来衡量。模型每秒处理 5 到 30 张图像才能被视为实时处理。在提高推理速度之前，需要正确测量它。
- 若模型每秒能处理 i 张图像，可以同时运行 N 个推理管道来提升性能，此时模型每秒能处理 N × i 张图像。不过，并行处理对实时应用并不适用。
- 在实时场景中，如自动驾驶汽车，重要的是延迟，即处理单张图像的预测所需的时间。因此，对于实时应用，只测量模型的延迟。
- 对于非实时应用，可以根据需要并行运行多个推理进程。例如，对于视频，可以并行分析 N 个视频片段，并在处理结束时拼接预测结果，唯一的影响是财务成本，因为需要更多硬件来并行处理帧。

2.2 测量延迟

为了测量模型的处理速度，我们要计算处理单张图像的时间。但为了减少测量误差，实际上会测量多张图像的处理时间，然后将总时间除以图像数量。不测量单张图像计