DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算，将整体模型进行划分后，利用终端设备、边缘服务器以及云计算中心的计算资源，将DNN划分为多个部分，分别部署在不同设备上进行推理。

• 充分利用系统中可用的计算资源
• 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出，首次提出了云边协同+模型划分的过程来降低模型推理时延。

• Collaborative Intelligence Between the Cloud and Mobile Edge（Neurosurgeon）
  • 2017
  • 出自期刊 ASPLOS 级别 CCF-A
  • 智能划分、云边协同
• Context-aware Adaptive Surgery- A Fast and Effective Framework（CAS）
  • 2021
  • 提出了基于Kd树最近邻搜索的GADS算法，作为CAS的核心。
• Enabling Cooperative Inference of Deep Learning on Wearables and Smartphones （CoINF）
  • 2017
  • 预测模型时延构建，有参考价值，写的比较详细；安卓系统实现原型 + 可穿戴设备。
• IONN- Incremental Offloading of Neural Network Computations from Mobile Devices to Edge Servers（IONN）
  • 2018
  • 出自SoCC 级别为CCF-B
  • 关注了模型传输，对DNN模型进行分区并增量上传-协同执行。
• An adaptive DNN inference acceleration framework with end–edge–cloud collaborative computing （ADAF）
  • 2023
  • 云-边-端联合协同计算。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析，解决了一部分含有拓扑结构的模型的划分问题。

• Dynamic Adaptive DNN Surgery for Inference Acceleration on the Edge（DADS）

  • 2019
  • 出自INFOCOM，级别为CCF-A
  • 在边缘设备和云服务器之间划分，用图论解决resnet等非链式结构。

• DNN Real-Time Collaborative Inference Acceleration with Mobile Edge Computing（CIC）

  • 2022
  • 出自IJCNN，级别为CCF-C
  • 模型压缩+优化方法来提高模型划分的效率，减少模型划分的决策时间。

• Mobility-Included DNN Partition Offloading from Mobile Devices to Edge