6、无人机与地铁底部智能巡检机器人技术探索

无人机与地铁底部智能巡检机器人技术探索

无人机自主导航技术

在当今科技发展中，无人机的应用范围日益广泛，其自主导航技术也成为了研究的热点。传统基于深度神经网络的无人机自主导航方法虽有进展，但在动态复杂环境中难以满足导航需求。而强化学习（RL）则通过奖励机制直接学习当前环境的策略，更符合人类决策过程。

1. 相关技术原理

   • 分层强化学习（HRL） ：强化学习在大规模高维环境中会面临维度灾难问题，即状态和动作随变量维度呈指数增长。而分层强化学习作为强化学习的分支，利用时间扩展动作（选项）从更高维度视角决策，引入分层结构，将复杂任务分解为子目标，避免了维度灾难，提高了学习效率，在复杂控制和智能机器人等领域是研究焦点。
   • 无人机自主导航研究现状 ：目前，一些研究者尝试将深度学习技术应用于无人机自主控制，如将控制问题转化为分类或回归问题，让传感器信息直接映射到高级行为指令。像Gandhi等人收集无人机碰撞数据集，用CNN提取特征预测碰撞情况；Maciel等人提出基于端到端多任务回归的学习方法用于无人机在茂密森林中的导航探索；Jung等人引入最优强度梯度来减少视觉惯性导航的计算时间。

2. 提出的方法——VI - HRL

   • 背景与任务定义 ：将无人机自主导航任务定义为部分可观测马尔可夫决策过程（POMDP），受分层强化学习启发，将自主控制策略分解为环境