Edge Video Analytics (1) — Enabling Edge-Cloud Video Analytics for Robotics Applications

Runespoor是一个针对机器人应用的边缘云视频分析系统，解决了尾部准确率问题。通过分析感知超分辨率(ASR)提升小类别和复杂帧的检测精度，以及内容感知自适应控制器(CAC)实现实时数据速率调整，改善尾帧处理。实验显示Runespoor能显著提高尾部准确率和整体性能，同时减少带宽消耗。

[1] Wang Y, Wang W, Liu D, et al. Enabling edge-cloud video analytics for robotics applications[J]. IEEE Transactions on Cloud Computing, 2022.

[2] Yiding Wang, Weiyan Wang, Duowen Liu, Xin Jin, Junchen Jiang, Kai Chen.Enabling Edge-Cloud Video Analytics for Robotic Applications[C].IEEE Conference on Computer Communications(INFOCOM),2021.

Abstract:
基于深度学习的视频分析任务需要计算密集型的神经网络和强大的云计算资源来实现高准确度。由于延迟特性和有限的网络带宽，边缘云系统通过自适应地压缩数据以在整体准确性和带宽消耗之间取得平衡。然而，降级的数据导致了另一个问题，即尾部准确率差，这意味着一些语义类和视频帧的准确率极低。自主机器人应用程序特别重视尾部精度性能，但使用先前的边缘云系统会受到影响。本文展示了Runespoor，一种边缘云视频分析系统，用于管理尾部准确性并支持新兴的机器人应用程序。我们训练和部署了超分辨率模型，来显着提高难以检测的类别或复杂帧等分析任务在服务器上的尾部准确性。在线操作过程中，我们使用自适应数据速率控制器，通过根据视频内容即时调整数据速率策略来进一步提高尾部性能。我们的评估表明，Runespoor 将 class-wise tail accuracy 提高了 300%，frame-wise 90%/99% tail accuracy 提高了 22%/54%，并大大提高了整体准确率和带宽权衡。

主要贡献是：
(i) 揭示和定义边缘云视频分析中重要的尾部准确性问题；
(ii)分析感知超分辨率 (ASR)，通过专注于详细信息重建来修复尾部准确性； (iii) 内容感知自适应控制器 (CAC)，在端到端系统中通过 DL 输出适应快速变化的场景。