14、低功耗计算机视觉中的高效神经网络调度

低功耗计算机视觉中的高效神经网络调度

1. 细粒度神经网络调度概述

在功耗敏感的处理器上，神经网络任务的调度至关重要。此前，我们了解了如何以粗粒度的方式将基于神经网络的任务手动调度到片上系统（SoC）上。然而，将神经网络骨干（如Fast R - CNN中的VGG模型）映射到加速单元（SUs）（如通用图形处理单元GPGPU）对于系统的功耗效率同样非常重要。

2. 加速单元上的网络调度：编译器级技术

2.1 神经网络调度目标

神经网络调度旨在将模型的算术运算转换为给定硬件平台的低级代码。流行的深度学习框架，如TensorFlow、PyTorch、MXNet和CNTK，已被发布以简化不同神经网络模型的调度。但这些框架大多仅支持有限数量的硬件设备，并且其性能依赖于手动设计和特定供应商的算子库（如MKL - DNN、cuBLAS和cuDNN）。当随着神经网络架构的快速发展出现新的算子时，这些库需要大量的手动调度工作才能在各种硬件设备上实现性能提升。

2.2 深度学习编译器的出现

为了解决在不同硬件设备上进行神经网络调度的问题，研究人员开发了深度学习编译器，如TVM、Tensor Comprehension（TC）、Glow、nGraph和XLA。这些编译器将神经网络模型转换为多级中间表示（IR），并进行网络调度优化。具体流程如下：
- 编译器前端 ：接收现有深度学习框架中的神经网络模型作为输入，通过与硬件无关的调度级优化将模型转换为高级IR（即图IR）。
- 编译器后端 ：将高级IR转换为低级IR，并执行与硬件相关的调度级优