43、机器人未知概念抓取与非线性系统最优控制研究

机器人未知概念抓取与非线性系统最优控制研究

语言引导下机器人对未知概念的抓取

机器人在现代生活中的应用越来越广泛，而让机器人能够理解人类语言并执行相应的抓取任务是一个重要的研究方向。

1. 知识表示与对象定位
   • 首先将视觉表示、语义表示和结构表示相结合，形成最终的知识表示。
   • 利用重新校准的多模态融合模块来定位对象，具体步骤如下：
     • 通过注意力组件融合知识表示和视觉对象表示，得到重新校准的注意力分数。
     • 将重新校准的注意力分数与多模态融合模块获得的原始注意力分数相结合，得到最终的注意力对数。
     • 使用对象定位模块定位对象，从而执行抓取动作。如果机械臂未能学习到概念，系统会继续编码下一条知识，直到学会该概念。学会的概念会与相应的场景对象匹配，并且知识系统会在概念学会后更新。

2. 抓取执行模块

   • 利用GR - ConvNet网络生成抓取姿势。通过微调网络，机器人可以在模拟和真实环境中有效地抓取目标对象。

3. 实验设置

   • 数据收集 ：由于没有合适的公开数据集，研究团队自己收集数据。选择20个真实对象，其中6个来自真实场景，其余来自YCB数据集。设置相机参数与realsenseD4