EgoExoLearn智能体跨视角技能学习数据集 | CVPR 2024

在探索人工智能边界时，我们时常惊叹于人类孩童的学习能力 —— 可以轻易地将他人的动作映射到自己的视角，进而模仿并创新。当我们追求更高阶的人工智能的时候，无非是希望赋予机器这种与生俱来的天赋。

由上海人工智能实验室，南京大学，中科院深圳先进技术研究院牵头，联合东京大学，复旦大学，浙江大学，中国科学技术大学等高校的学生和研究者，共同公布了跨视角技能学习数据集EgoExoLearn，为机器人赋予了通过观察他人学习新动作的能力。

• 论文链接：

  https://arxiv.org/abs/2403.16182

• 代码与数据集链接：

  https://github.com/OpenGVLab/EgoExoLearn

EgoExoLearn 数据集独辟蹊径，采集了第一视角与第三视角的视频素材。第一视角视频捕捉了人们学习第三视角演示动作的全过程，这种视角的转换与融合，为机器模拟人类学习模式提供了宝贵的数据资源。

数据集的构建不仅涵盖了日常生活的琐碎场景，更延伸到了专业实验室的复杂操作。EgoExoLearn 精心收录了总计 120 小时的视角与示范视频，旨在让机器在多种环境下都能有效学习。

除视频外，研究者还记录了高质量的注视数据，并辅以详尽的多模态标注。这些数据与标注的结合，构建了一个全面模拟人类学习过程的平台，有助于解决机器在不同视角下对异步动作过程的建模难题。

为了全面评估 EgoExoLearn 数据集的价值，研究者提出了一系列基准测试，如跨视角关联、跨视角行动规划及跨视角参考技能评估等，并进行了深入的分析。展望未来，EgoExoLearn 将成为跨视角行动桥接的重要基石，为机器人无缝学习真实世界中的人类行为提供坚实支撑。

期待 EgoExoLearn 数据集能助力 AI 技术的进一步突破，推动机器人从单纯