基于模型划分的云边协同推理算法

摘要

在网络状态和任务需求的动态变化下，为减少模型推理时延和计算成本，在软件定义网络( Software Defined Network，SDN) 中提出了一种基于模型划分的云边协同推理算法。通过构建复杂度预测器分配任务执行环境，采用深度Q网络(Deep Q-network，DQN) 算法对边缘环境中的推理模型进行自适应划分与卸载;以及用SDN技术从全局感知推理任务与网络资源，实现动态网络环境下网络资源的合理分配。试验结果表明:SDN中基于模型划分的云边协同推理算法具有良好的收敛能力，在动态环境中具有较好的鲁棒性。与现有的推理算法相比，该算法能够在合理分配计算资源的前提下，满足协同推理低时延的目标要求。

引言

深度神经网络(Deep Neural Network，DNN) 是计算密集型网络在依靠单一的云端或边缘节点执行推理任务时，会造成推理时延难以预测、推理性能明显下降等问题［1］。为解决此类问题，众多云边协同处理方案应用而生，如基于云边协同的分布式推理算法，通过将部分推理任务分配到边缘节点以缓解云端的负载压力，从而达到推理低时延、高可靠性的目的。而在实际的应用场景中，如何在网络状态和任务需求动态变化下协同多个边缘节点合理分配推理任务，实现边缘集群与云端协作以优化推理时延和负载均衡是一个值得深入研究的问题［2］。

目前，已有大量的研究来加速DNN模型推理，例如将云计算环境中的推理计算问题建模为最短路径和整数线性规划问题并结合模型压缩方法以减少通信成本［5］;针对模型划分方法，以DNN模型每层的神经元为单位，采用深度强化学习(DeepＲeinforcement Learning，DＲL) 自适应卸载策略在各个物联网设备上完成运算，实现在资源受限的物联网设备上低时延的推理目标［6］。以上方法虽然有效降低模型的推理时延与资源需求，但可能会带来模型推理精度的损失。因此，如何在网络状态和任务需求的动态变化中寻找最佳划分点是我们研究的目标。

随着深度强化学习被广泛应用于感知决策领域，通过与网络环境的不断交互来实现优化目标的最优策略［7-8］; SDN 则可以通过控制器获取实时网络状态信息，从而更加灵活地控制网络、提高网络性能［9］。本文结合SDN 技术提出了基于模型划分的云边协同推理算法(Cloud-Edge collaborative inference algorithm based on model partition in SDN，SDNCEP) ，以优化推理时延和网络资源的合理利用。通过将DNN模型分别部署在云边端中，并设计任务预测器决策任务的执行环境。边缘环境中协同多个计算节点参与DNN推理，以解决单一节点算力不足的问题，并结合深度强化学习中的DQN算法实现推理模型的自适应划分与卸载。SDN-CEP 算法结合SDN 技术从全局感知推理任务与网络资源信息，通过协同架构的南向接口屏蔽边端设备之间的差异，使用全局视图进行网络资源管理，并通过边端控制器的北向接口按