43、通过示范建模空间关系学习使用棘轮及对称约简强化学习实现任意轴张拉整体滚动

通过示范建模空间关系学习使用棘轮及对称约简强化学习实现任意轴张拉整体滚动

1. 通过示范建模空间关系学习使用棘轮

在机器人学习领域，通过示范来学习动作和特征是一种重要的方法。在学习使用棘轮的任务中，这种方法展现出了良好的效果。

1.1 特征选择

在示范过程中，特征的选择是关键。对于单个示范，会根据特征与机器人坐标系的接近程度或机器人可控制的特征来选择。而多个示范时，能识别出更可靠的特征集来定义方面。
- 机器人 - 视觉动作 ：对于机器人 - 视觉动作 (a_{RV} = \varphi_{R|\sigma_V}^{\tau})，会选择在 XYZ 位置偏移中方差最小的前 N 对机器人坐标系 (r \in R) 和视觉特征 (v \in V) 来表示该动作。例如，在学习多次抓取棘轮的示范时，发现棘轮上的特征比工具架上的特征更可靠，因为在不同示范中，棘轮在工具架上的位置可能不同。
- 视觉 - 视觉动作 ：对于视觉 - 视觉动作 (a_{VV} = \varphi_{V|\sigma_{V’}}{^\tau})，会选择工具方面节点 (v \in V) 和目标对象方面节点 (v’ \in V’) 中具有最小方差 (var(v, v’)) 的前 N 对视觉特征。这里的 (var(v, v’)) 是动作后特征 (v) 和 (v’) 之间 XYZ 位置偏移的方差。例如，将棘轮的套筒放在螺栓顶部的动作，执行该动作后，套筒和螺栓上的特征之间存在一致的空间关系。

1.2 实验

通过一系列实验验证了该方法的有效性。
- 示范分割