35、机器人能力评估与轨迹优化研究

机器人能力评估与轨迹优化研究

一、ToRCH结构评估

在机器人研究中，准确评估和分类机器人的能力至关重要。ToRCH结构被用于此目的，下面将详细介绍对其进行的评估实验。
1. 实验设计
- 参与者 ：从谢菲尔德大学机器人研究所和计算机科学系招募了12名志愿者，他们均自认为是NAO机器人的程序员或用户。
- 场景设置 ：使用两个NAO机器人场景，评估了特定的能力。其中6种能力在两个场景中都有体现，另外5种能力仅在其中一个场景中出现。
- 问卷过程 ：通过在线表格进行问卷调查。参与者先阅读每个场景的文字描述，然后回答11个问题。根据他们对NAO机器人的了解和对场景的理解，为每个能力选择他们认为最符合NAO表现的能力水平。不同能力的最高得分不同，参与者还可以对自己的回答留下评论。
- 数据分析 ：下载并提取每个参与者的22个得分和相应评论，与场景的模型得分进行比较，以评估ToRCH捕捉机器人能力的准确性。通过Cohen’s kappa度量进行评分者间信度分析。
2. 实验结果
- 准确性评估
- 12名参与者共进行了264次机器人能力评估，其中正确识别机器人是否具备某种能力的次数为231次，错误识别33次。大部分错误评估集中在解释性能力上，这表明某些能力需要更详细的描述才能被正确评估。总体而言，机器人能力评估的准确率为88%，这证明了ToRCH结构在捕捉能力方面的准确性，确认它是一种有