文章主要内容总结
本文是2024年NASA SUITS项目的研究报告,聚焦于太空探索中动态移动增强现实(AR)环境下的人机交互问题,提出了一个名为URSA的、基于大型语言模型(LLM)的沉浸式AR用户界面系统,旨在支持未来月球和火星任务(如Artemis任务)中的机器人操作与监测。
核心内容包括:
- 非侵入式AR头戴设备界面:基于HoloLens 2设计,确保宇航员视野不受遮挡,信息显示在 peripheral 区域,通过语音命令控制,减少认知负荷。
- 语音控制AR界面:利用LLM(如Gorilla模型)实现语音交互,解决传统AR控制(手势、眼动等)在太空环境中的局限性(如宇航员手部受限、舱外活动操作不便),通过语音命令触发功能调用(如打开地图)。
- 本地任务控制控制台(LMCC):整合生物医学数据、宇航服系统信息、漫游车位置跟踪等,支持实时任务监控与管理。
- 漫游车跟踪技术:构建了DTTD3数据集(含真实与合成数据,针对带可移动部件的机器人),并设计了DTTDNet模型,通过YOLOv8检测与深度数据鲁棒化处理,实现漫游车6自由度(6DoF)姿态估计,提升跟踪精度。
- 挑战与未来方向:分析了数据收集难度、模型训练局限性、LLM幻觉问题等,并提出扩展数据集多样性、优化网络结构、提升实时性等方向。
创新点
- DTTD3数据集
本文介绍NASA SUITS 2024项目成果URSA系统,基于大型语言模型(LLM)构建沉浸式、非侵入式增强现实(AR)用户界面,支持太空任务中机器人操作。系统集成HoloLens 2语音控制、本地任务控制控制台(LMCC)及DTTDNet 6DoF姿态估计算法,并发布首个面向非刚体机器人的RGBD跟踪数据集DTTD3。关键技术涵盖LLM功能调用、RGBD模态融合、深度鲁棒化处理与实时姿态估计。
订阅专栏 解锁全文
435

被折叠的 条评论
为什么被折叠?



