63、机器人路径规划与导航系统的创新方法

机器人路径规划与导航系统的创新方法

1. 机器人路径规划的TD3算法

在机器人路径规划中，由于机器人具有多自由度、连续工作空间以及关节空间与笛卡尔空间之间非唯一映射的特点，深度强化学习算法常存在不必要探索、学习效率低、精度低和鲁棒性差等问题。为解决这些问题，提出了基于双延迟深度确定性策略梯度（TD3）算法的路径规划算法。

• TD3算法模型 ：TD3是基于强化学习算法的Actor - Critic框架，属于标准的深度强化学习算法，可应用于机器人的连续运动控制，确保机器人运动的连续性和流畅性。该方法使用基于策略的网络选择动作，使用基于价值的网络作为评判网络评估动作。以模拟环境的初始状态$S_t$作为算法输入，基于策略的神经网络输出当前状态$S_t$下的动作$A_t$，基于价值的神经网络输出$Q(s_t, a_t)$，然后智能体根据$S_{t + 1}$和$R_{t + 1}$输出新动作$A_{t + 1}$。通过大量随机探索和顺序决策，智能体在环境中的累积回报逐渐趋于最大化。
• 训练环境设计
  • 捕获任务描述 ：机器人捕获任务的目标是实现末端执行器期望姿态的路径规划。在整个训练过程中，目标位置和姿态在机械臂运动空间内随机设置，同时模拟程序反馈机械臂的环境状态信息，如关节角位置、角速度、手眼相机图像等，作为网络模型的输入，通过顺序决策生成相应动作，控制机械臂进行目标手部捕获任务训练。
  • 奖励函数设计 ：奖励函数负责评估机械臂在当前状态下的动作。合理的奖励函数能避免无效探