Edge Video Analytics (3) — NestDNN: Resource-Aware Multi-Tenant On-Device Deep Learning for Continuo

[1] Biyi Fang, Xiao Zeng, and Mi Zhang, NestDNN: Resource-Aware Multi-Tenant On-Device Deep Learning for Continuous Mobile Vision[C]. In Proceedings of the 24th Annual International Conference on Mobile Computing and Networking(MobiCom '18). Association for Computing Machinery, New York, NY, USA, 115–127.

ABSTRACT
智能手机、无人机和增强现实耳机等移动视觉系统正在彻底改变我们的生活。这些系统通常同时运行多个应用程序，并且由于启动新应用程序、关闭现有应用程序和应用程序优先级更改等事件，它们在运行时的可用资源是动态的。在本文中，我们介绍了 NestDNN，这是一个框架，它考虑了运行时资源的动态，以实现移动视觉系统的资源感知多租户设备上深度学习。 NestDNN 使每个深度学习模型能够提供灵活的资源准确性权衡。在运行时，它为每个深度学习模型动态选择最佳资源精度权衡，以使模型的资源需求与系统可用的运行时资源相匹配。在此过程中，NestDNN 有效地利用了移动视觉系统中的有限资源，共同最大化所有同时运行的应用程序的性能。我们的实验表明，与资源无关的现状方法相比，NestDNN 的推理精度提高了 4.2%，视频帧处理速率提高了 2.0 倍，能耗降低了 1.7 倍。

Overview


图 1 展示了 NestDNN 的架构，分为离线阶段和在线阶段。离线阶段包括三个阶段：模型修剪（§3.1）、模型恢复（§3.2）和模型分析。在模型修剪阶段，NestDNN 采用最先进的三重响应残差 (TRR) 方法根据其重要性对给定深度学习模型（即普通模型）中的过滤器进行排名，并迭代地修剪过滤器。在每次迭代中，对不太重要的过滤器进行修剪，并重新训练修剪后的模型以补偿过滤器修剪造成的精度下降（如果有的话）。当修剪后的模型不能满足用户设定的最小精度目标时，迭代结束。最小的剪枝模型称为种子模型。结果，创建了一个过滤器修剪路线图，其中路线图上的每个足迹都是一个带有过滤器修剪记录的修剪模型。

在模型恢复阶段，NestDNN 采用了一种新颖的模型冻结和过滤增长（即 freeze-&-grow）方法以迭代方式生成多容量模型。模型恢复使用种子模型作为起点。在每次迭代中，首先应用模型冻结来冻结所有模型过滤器的参数。通过以相反的顺序遵循过滤器修剪路线图，然后应用过滤器增长来添加修剪后的过滤器。因此，生成了具有更大容量的后代模型，并通过重新训练恢复了其准确性。通过重复迭代，一个新的后代模型会在前一个模型的基础上生成。因此，最终的后代模型具有所有先前模型的容量，因此被称为多容量模型。在模型分析阶段，给定移动视觉系统的规格，为每个多容量模型生成一个配置文件，包括每个后代模型的推理精度、内存占用和处理延迟。

最后，在在线阶段，资源感知运行时调度程序持续监控更改运行时资源的事件。一旦检测到此类事件，调度程序检查所有并发运行的应用程序的配置文件，为每个应用程序选择最佳后代模型，并将最佳运行时资源量分配给每个选定的后代模型，以共同最大化整体推理准确性并最小化所有这些应用程序的整体处理延迟。

结论：
在本文中，我们介绍了 NestDNN 的设计、实现和评估，这是一个为移动视觉系统实现资源感知多租户设备上深度学习的框架。 NestDNN 将移动视觉系统中运行时资源的动态考虑在内，为每个同时运行的深度学习模型动态选择最佳的资源精度权衡和资源分配，以共同最大化它们的性能。 我们使用六个移动视觉应用程序评估了 NestDNN，这些应用程序针对移动视觉系统的一些最重要的视觉任务。 我们的结果表明，NestDNN 在推理精度、视频帧处理速率和能耗方面优于资源无关的现状方法。 我们相信 NestDNN 代表着将设想的连续移动愿景变为现实的重要一步。