34、基于局部动态拟合的强化学习机器人轨迹优化

基于局部动态拟合的强化学习机器人轨迹优化

1. 引言

随着人工智能的发展，机器人在越来越多的领域协助人类完成日常任务，如太空/水下任务、侵入性手术、远程患者监测等。目前，大多数机器人控制器由人类设计和调整，这不仅繁琐，还需要丰富的经验和专业知识。而且，这些控制器基于对机器人行为和环境的精确建模，当机器人需要适应新情况或无法精确建模时，就会存在局限性，因此距离实现完全自主的机器人还有差距。

机器学习为解决机器人自主操作任务提供了新途径。利用现代机器学习技术的灵活性和强大功能，机器人控制领域有望进一步自动化，缩小与自主机器人的差距。然而，机器学习算法也面临高维连续状态和行为、高实时性要求以及机器人与环境交互耗时等挑战。目前，机器人领域应用最广泛的机器学习方法是强化学习算法，可分为无模型方法和基于模型的方法。

无模型策略搜索方法直接从现实世界学习，策略函数不能过于复杂，参数数量应少于100，且属于局部搜索方法，需合理设置参数初始值，否则易陷入局部最优。基于模型的方法则先对机器人与环境的交互进行采样，再根据采样数据拟合动态模型，最后以动态模型为仿真环境训练机器人，大大提高了策略搜索效率。但构建准确的环境动态模型具有挑战性，策略也容易受动态模型误差的影响。

为解决这些问题，提出了一种基于局部动态拟合的强化学习机器人轨迹优化方法。通过构建从粗到细的动态模型拟合算法，提高机器人与环境交互时动态模型的学习效率，并利用LQR算法优化机器人控制器，提高优化效率。

2. 方法

2.1 定义与问题表述

将机器人的操作和运动过程视为有限时间范围的马尔可夫决策过程，该模型包含五个要素：机器人和环境状态 $s$、机器人动作