【无人机路径规划】基于深度强化学习的多无人机辅助边缘计算网络路径规划附Matlab代码

作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

在边缘计算网络中，多无人机凭借灵活部署、广域覆盖的特性，可作为 “移动边缘节点” 承担数据中继、计算卸载、应急通信等任务（如智慧城市中的实时视频分析、灾区的临时通信保障）。与传统无人机路径规划（仅关注避障与最短路径）不同，多无人机辅助边缘计算网络的路径规划需在 “飞行约束” 基础上，额外兼顾 “网络性能优化”—— 例如保障边缘节点间的通信带宽、最小化数据传输时延、平衡各无人机的计算负载，核心是实现 “飞行效率” 与 “网络服务质量（QoS）” 的协同优化。

1. 多无人机辅助边缘计算网络架构

该网络通常由三层构成，路径规划需适配各层协同需求：

• 终端层：包括手机、物联网设备等用户终端，产生计算任务（如视频编码、传感器数据处理），需将任务卸载至边缘节点；

• 无人机边缘层：多架无人机作为移动边缘节点（UAV-Edge Node），具备计算、存储与通信能力，可接收终端任务并进行本地处理，或中继至核心层；

• 核心层：由固定边缘服务器、云计算中心组成，负责处理无人机无法承载的复杂任务，或汇总全局数据。

路径规划的核心作用是：通过优化无人机的飞行轨迹，使每架无人机在覆盖范围内（如终端设备密集区域）保持稳定通信，同时实现 “任务卸载时延最小”“网络能耗最低”“负载均衡” 等目标。

在边缘计算网络中，多无人机凭借灵活部署、广域覆盖的特性，可作为 “移动边缘节点” 承担数据中继、计算卸载、应急通信等任务（如智慧城市中的实时视频分析、灾区的临时通信保障）。与传统无人机路径规划（仅关注避障与最短路径）不同，多无人机辅助边缘计算网络的路径规划需在 “飞行约束” 基础上，额外兼顾 “网络性能优化”—— 例如保障边缘节点间的通信带宽、最小化数据传输时延、平衡各无人机的计算负载，核心是实现 “飞行效率” 与 “网络服务质量（QoS）” 的协同优化。

1. 多无人机辅助边缘计算网络架构

该网络通常由三层构成，路径规划需适配各层协同需求：

• 终端层：包括手机、物联网设备等用户终端，产生计算任务（如视频编码、传感器数据处理），需将任务卸载至边缘节点；

• 无人机边缘层：多架无人机作为移动边缘节点（UAV-Edge Node），具备计算、存储与通信能力，可接收终端任务并进行本地处理，或中继至核心层；

• 核心层：由固定边缘服务器、云计算中心组成，负责处理无人机无法承载的复杂任务，或汇总全局数据。

路径规划的核心作用是：通过优化无人机的飞行轨迹，使每架无人机在覆盖范围内（如终端设备密集区域）保持稳定通信，同时实现 “任务卸载时延最小”“网络能耗最低”“负载均衡” 等目标。

2. 路径规划核心需求与挑战

需求维度	具体要求	核心挑战
网络性能优化	1. 无人机与终端 / 核心层的通信带宽≥10Mbps；2. 数据传输时延≤50ms（满足实时任务需求）；3. 各无人机的计算负载差异≤20%（避免单点过载）	如何将 “抽象的网络指标” 转化为路径规划的可优化目标，同时平衡多目标间的冲突（如为提升带宽靠近终端，可能增加避障难度）
飞行约束适配	1. 规避静态障碍（如建筑、树木）与动态障碍（如其他无人机、低空飞行器）；2. 无人机续航≥任务时长（如 2 小时），剩余电量≥15%（保障返航）；3. 相邻无人机的安全距离≥5m（避免碰撞）	多无人机动态协同场景下，如何实时调整路径以应对障碍与负载变化，避免 “局部最优” 导致全局网络性能下降
动态环境适应	1. 终端设备移动（如行人携带的手机）导致任务源位置变化；2. 无线信道干扰（如城市复杂电磁环境）导致通信质量波动；3. 临时任务突发（如灾区新增救援终端）	传统静态规划算法（如 A*、RRT*）无法实时响应动态变化，需具备 “在线学习与自适应调整” 能力

二、深度强化学习（DRL）的适配性分析与框架构建

1. DRL 适配优势

相比传统路径规划算法，DRL 在多无人机辅助边缘计算网络中具备三大核心优势：

• 动态环境建模能力：通过 “状态空间” 实时刻画网络动态（如终端位置、信道质量、负载状态），无需预设环境模型，适配终端移动、信道波动等场景；

• 多目标协同优化：通过 “奖励函数” 融合飞行约束与网络性能指标，可灵活调整各目标权重（如应急场景下优先降低时延，节能场景下优先减少能耗）；

• 多智能体协同决策：采用多智能体深度强化学习（MARL）框架，使多无人机在分布式决策中实现全局最优（如避免多机同时聚集在高负载区域，导致带宽竞争）。

2. 核心框架构建（以 MARL 为例）

（1）智能体定义

• 单无人机智能体：每架无人机作为独立智能体（Agent），负责感知自身周围环境（如局部终端分布、障碍位置、自身电量与负载），并输出路径决策（如下一步的飞行方向、速度，范围：方向 0-360°，速度 0-8m/s）；

• 全局协调机制：引入 “中心控制器”（可选），收集所有无人机的局部状态，通过 “全局奖励” 引导多机协同（如当某区域终端密集时，调度邻近无人机前往分担负载），避免多机决策冲突。

三、路径规划流程与关键技术优化

2. 关键技术优化

（1）状态空间降维与特征提取

• 问题：原始状态空间维度高（如障碍栅格 10×10×5=500 维，网络参数 3 维，共约 510 维），导致神经网络训练复杂度高、收敛慢；

• 优化方案：

• 采用卷积神经网络（CNN）提取障碍栅格的空间特征（如 3×3×3 卷积核，将 500 维栅格特征降维至 20 维）；

• 对网络参数（带宽、时延、负载）进行归一化处理（如映射至 [0,1] 区间），并通过全连接层融合，最终将状态空间维度降至 50 维以内，训练收敛速度提升 30%-50%。

（2）多智能体冲突避免

• 问题：多无人机独立决策时，易出现 “局部最优” 导致的冲突（如多机同时前往高终端密度区域，引发带宽竞争与碰撞风险）；

• 优化方案：

• 全局奖励引入：在奖励函数中加入 “多机协同项”—— 若某无人机的路径调整使周边无人机的负载降低 10% 以上，额外得 + 2 分，引导主动分担负载；

• 通信拓扑约束：设定无人机间的通信范围（如 100m），当多机距离≤100m 时，交换局部状态信息（如自身负载、规划路径），通过 “动作协商” 避免冲突（如 A 无人机计划前往区域 A，B 无人机检测到后，自动调整路径前往区域 B）；

• 优先级调度：对突发任务（如灾区救援终端）赋予高优先级，调度邻近无人机优先覆盖，其他无人机调整路径避让，确保关键任务的时延需求。

（3）动态信道与负载适应

• 问题：无线信道受遮挡、干扰影响，质量波动大；终端任务量突发（如某区域举办活动，终端数量激增），易导致无人机负载过载；

• 优化方案：

• 信道质量预测融入状态：通过长短期记忆网络（LSTM）预测未来 10s 的信道增益变化（基于历史 50s 的信道数据），将 “预测值” 加入状态空间，使路径决策提前规避信道恶化区域（如预测某路段 10s 后信道增益下降 30%，无人机提前调整路径绕开）；

• 负载预测与预调度：基于终端历史任务数据，采用时序预测模型（如 ARIMA）估计未来 5 分钟的任务量分布，提前调度无人机前往高负载区域，避免临时过载（如预测某商场区域任务量将增加 50%，调度 2 架空闲无人机前往）。

⛳️ 运行结果

🔗 参考文献

[1] 徐少毅,杨磊.基于多智能体深度强化学习的多无人机辅助移动边缘计算轨迹设计[J].北京交通大学学报, 2024, 48(5):1-9.

[2] 沈乐.基于深度强化学习的多无人机辅助移动边缘计算网络动态卸载及资源分配研究[D].南京邮电大学[2025-09-11].

[3] 朱世超.基于强化学习的无人机辅助无线网络负载迁移技术研究[D].上海交通大学,2021.

📣 部分代码

🎈 部分理论引用网络文献，若有侵权联系博主删除

 👇 关注我领取海量matlab电子书和数学建模资料 

🏆团队擅长辅导定制多种科研领域MATLAB仿真，助力科研梦：

🌈 各类智能优化算法改进及应用

生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化、背包问题、 风电场布局、时隙分配优化、 最佳分布式发电单元分配、多阶段管道维修、 工厂-中心-需求点三级选址问题、 应急生活物质配送中心选址、 基站选址、 道路灯柱布置、 枢纽节点部署、 输电线路台风监测装置、 集装箱调度、 机组优化、 投资优化组合、云服务器组合优化、 天线线性阵列分布优化、CVRP问题、VRPPD问题、多中心VRP问题、多层网络的VRP问题、多中心多车型的VRP问题、 动态VRP问题、双层车辆路径规划（2E-VRP）、充电车辆路径规划（EVRP）、油电混合车辆路径规划、混合流水车间问题、 订单拆分调度问题、 公交车的调度排班优化问题、航班摆渡车辆调度问题、选址路径规划问题、港口调度、港口岸桥调度、停机位分配、机场航班调度、泄漏源定位

🌈 机器学习和深度学习时序、回归、分类、聚类和降维

2.1 bp时序、回归预测和分类

2.2 ENS声神经网络时序、回归预测和分类

2.3 SVM/CNN-SVM/LSSVM/RVM支持向量机系列时序、回归预测和分类

2.4 CNN|TCN|GCN卷积神经网络系列时序、回归预测和分类

2.5 ELM/KELM/RELM/DELM极限学习机系列时序、回归预测和分类

2.6 GRU/Bi-GRU/CNN-GRU/CNN-BiGRU门控神经网络时序、回归预测和分类

2.7 ELMAN递归神经网络时序、回归\预测和分类

2.8 LSTM/BiLSTM/CNN-LSTM/CNN-BiLSTM/长短记忆神经网络系列时序、回归预测和分类

2.9 RBF径向基神经网络时序、回归预测和分类

2.10 DBN深度置信网络时序、回归预测和分类

2.11 FNN模糊神经网络时序、回归预测

2.12 RF随机森林时序、回归预测和分类

2.13 BLS宽度学习时序、回归预测和分类

2.14 PNN脉冲神经网络分类

2.15 模糊小波神经网络预测和分类

2.16 时序、回归预测和分类

2.17 时序、回归预测预测和分类

2.18 XGBOOST集成学习时序、回归预测预测和分类

2.19 Transform各类组合时序、回归预测预测和分类

方向涵盖风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、用电量预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

🌈图像处理方面

图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

🌈 路径规划方面

旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、 充电车辆路径规划（EVRP）、 双层车辆路径规划（2E-VRP）、 油电混合车辆路径规划、 船舶航迹规划、 全路径规划规划、 仓储巡逻

🌈 无人机应用方面