Distributed DNN Inference with Fine-grained Model Partitioning in Mobile Edge Computing Networks

最新推荐文章于 2025-12-09 16:47:37 发布

原创

最新推荐文章于 2025-12-09 16:47:37 发布 · 748 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#dnn #人工智能 #神经网络

Li, H., Li, X., Fan, Q., He, Q., Wang, X., & Leung, V. C. M. (n.d.). Distributed DNN Inference with Fine-grained Model Partitioning in Mobile Edge Computing Networks. IEEE Transactions on Mobile Computing, PP(99), 1–15. https://doi.org/10.1109/TMC.2024.3357874

在移动边缘计算网络中进行细粒度模型分区的分布式深度神经网络推断

模型分区是一种提高分布式推断效率的有希望的技术，通过在边缘服务器（ESs）或物联网（IoT）设备上执行部分深度神经网络（DNN）模型。然而，由于移动边缘计算（MEC）网络中ESs和IoT设备的异构资源，要确保DNN推断速度满足特定的延迟约束并非易事。同时，许多现有的DNN模型具有深度且复杂的架构，包含大量的DNN块，这导致了细粒度模型分区的巨大搜索空间。为了解决这些挑战，我们研究了在ESs和IoT设备之间协作的细粒度模型分区的分布式DNN推断。我们制定了问题并提出了基于多任务学习的异步优势演员-评论家方法，以找到一个竞争性的模型分区策略，从而降低DNN推断延迟。具体而言，我们通过软参数共享将演员网络和评论家网络的共享层结合起来，并将输出层扩展为多个分支，以单独确定每个DNN块的模型分区策略。实验证明，所提出的方法在考虑的MEC网络中通过平均降低总推断延迟、边缘推断延迟和本地推断延迟分别为4.76％、10.04％和8.03％，优于现有技术。

在这里插入图片描述
图 1. 移动边缘计算网络中分布式深度神经网络推断的模型分区范例。