20、深度强化学习在自主移动机器人导航中的应用

深度强化学习在自主移动机器人导航中的应用

1. 引言

自主机器人对众多社会领域的发展产生了重大影响。移动机器人需要能够安全、有效地导航，因此对前沿算法的需求十分强烈。在数据驱动的理念下，随着机器学习的发展，移动机器人找到了多种有效的导航和运动控制算法。

移动机器人导航有四个要求：感知、定位、路径规划和运动控制。尽管大多数自主机器人应用都在动态环境中进行，但能够在动态环境中导航和控制机器人的算法数量有限。

引入深度强化学习（DRL）作为人工智能学习的通用框架，可创建独立于应用和平台的系统。目前，人工智能和机器人技术的最终目标是实现人类水平的控制。

本文对最近五年能在动态环境中控制自主机器人的控制方法进行了定性比较研究，讨论了使用深度强化学习算法的自主移动机器人导航（AMRN）方法。研究考虑了理论和实践实施经验、通过模拟和实验进行的验证，有助于研究人员了解适用于AMRN的DRL算法的发展和应用。

本文的主要贡献包括：
- 定义在机器学习概念下使用DRL开发移动机器人的好处。
- 给出DRL与移动机器人导航（MRN）的关系及详细配置。
- 解释应用更具代表性的DRL算法进行MRN的基准测试方法和必要技术。
- 展示教授用于MRN的DRL的关键考虑因素，并提出两个使用CoppeliaSim的练习。
- 确定自主机器人（AR）的应用要求和实际安全性。

2. 发展历程

2.1 控制理论、线性控制和机电一体化

使用电子设备和集成电路（IC），通过传统的线性控制系统和传感器提供系统输出的反馈，能够更灵活、准确地控制机器。线性控制受控制理论的