Edgent:移动设备与边缘的协同推理

文章提出Edgent框架,解决了移动设备上运行DNN的高能耗和云端推理的不可预测延迟问题。Edgent通过DNN分区和正确大小调整,实现设备与边缘的协同推理,优化端到端延迟并最大化推理精度。实验表明,Edgent能有效应对带宽变化和延迟需求,提升模型性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文出自于论文Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy ,主要介绍了一种移动设备与边缘协同作用的DNN协同推理框架。

一、简介和相关工作

  1. 在资源受限的移动设备上运行DNN会带来高能耗,而将DNNs卸载到云上执行时,由于无法控制长时间广域网延迟,其性能也难以预测。为了解决这些挑战,在本文中我们提出来Edgent,一个协同和按需的DNN协同推理框架,它将设备与边缘协同作用。Edgent包含两个关键点:(1)自适应地将DNN计算划分在设备和边缘之间的DNN分区,利用相邻的混合计算资源进行实时的DNN推理;(2)通过在适当的中间DNN层提前退出来加速DNN推理,从而进一步降低计算延迟。
  2. DNN处理的传统方式是将移动设备生成的输入数据发送到云端进行处理,推理后将结果发送回移动设备。然而以云端为中心的方案,大量数据需要借助长时间的广域网数据传输来上传到云,导致高度端到端延迟和移动设备能耗。为了减轻以云为中心方法的延迟和能量瓶颈,一个更好的方案是利用新型的边缘计算范式,边缘计算支持低延迟和高效的DNN推理。
  3. Edgent进一步结合了DNN分区和DNN的正确规模,通过在中间DNN层的早期退出来加速DNN推理。但是早期退出会导致部分精度损失,因此Edgent通过随需应变的方式联合优化DNN分区和正确规模。
  4. 我们采取一种向外扩展的方案,来释放边缘和移动设备之间的协作优势智能,从而缓解终端设备的性能和能量瓶颈。在另一方面,DNN分区不足以满足关键任务应用程序的严格及时性要求。因此,我们进一步应用了DNN的大小调整方法来加速DNN推理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值