6、低功耗计算机视觉与高效神经网络推理的技术探索

低功耗计算机视觉与高效神经网络推理的技术探索

在当今人工智能领域，深度学习和神经网络占据主导地位，在图像分类、语音识别等众多应用中展现出卓越性能。然而，其巨大的计算复杂度给资源受限的设备应用带来了挑战。为解决这一问题，人们在低功耗计算机视觉和高效神经网络推理方面展开了大量研究。

低功耗计算机视觉中的能耗与延迟

在低功耗计算机视觉中，DNN（深度神经网络）的参数数量和操作次数并不总是与能耗和延迟成正比。不同的DNN适用于不同的设备，有些在GPU上运行更快，因为能受益于高度并行性；有些则更适合CPU，取决于其内存访问模式。

以Google Pixel - 2上的MobileNetV1为例，不同优化方式下的能耗和推理时间存在明显差异，具体数据如下表所示：
| 图像分辨率 | 数据类型 | 准确率 | 推理时间（ms） |
| — | — | — | — |
| 224 × 224 | float32 | 70.2 | 81.5 |
| 224 × 224 | int8 | 65.5 | 68.0 |
| 128 × 128 | int8 | 64.1 | 28.0 |

从表中可以看出，将数据类型从float32改为int8，MobileNetV1的推理延迟从81.5 ms/image降低到68 ms/image；进一步将输入分辨率从224 × 224降低到128 × 128，延迟可降至28 ms/image。要测量DNN的能耗和延迟，需将其部署在目标设备上，并使用功率计测量设备的功率和能耗。

为使DNN更适合在资源受限的嵌入式设备上部署，研究人员开发了多种技术，主要分为以下六类：
1.