42、基于知识系统的语言引导未知概念抓取技术解析

基于知识系统的语言引导未知概念抓取技术解析

在机器人技术领域，让机器人根据语言指令在杂乱环境中抓取特定物体是一个热门研究方向。然而，现有研究在抓取检测模型无法识别的未知物体时往往失败，这对从外部知识中学习未知物体提出了更高要求。本文将详细介绍一种基于知识学习驱动的系统，它能帮助机器人从预构建的多模态知识库中学习新概念，从而抓取未知物体。

1. 研究背景与问题提出

机器人的抓取功能在家庭和工业等多个领域都有广泛研究。当前研究主要集中在基于人类指令抓取目标物体，这些方法通过整合人类指令和场景图像特征来定位目标物体并生成掩码以完成任务。但它们的局限性在于要求目标物体能被视觉识别算法识别，一旦算法无法识别目标物体，机器人就无法成功抓取。

为解决这一问题，许多研究转向概念学习。例如，有研究提出学习单个物体的颜色和形状属性来学习未知概念，但仅通过形状和颜色描述未识别物体，会忽略材料和大小等关键属性，限制了学习物体的数量。还有研究提出基于概念学习的神经符号方法，通过理解属性和空间关系来抓取未知物体，但仍主要关注检测模型已知的物体。

2. 知识学习驱动系统概述

为解决学习未知物体的问题，我们提出了一个知识学习驱动系统，该系统可引导机器人从预构建的多模态知识库中学习新概念，以抓取未知物体。该模型适用于已知和未知概念的抓取过程，与不利用任何知识的基线方法相比，有 20% 的性能提升。

3. 任务概述

给定一个由 N 个单词组成的查询 Q 和一张由相机获取的包含 K 个物体（包括已知物体 {Oui}U i=1 和未知物体 {Oki}K i=1）的图像 I，在多模态知识图 G 的条件下，任务是根据查询 Q 中的概念