2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Space

文章主要内容总结

本文是2024年NASA SUITS项目的研究报告，聚焦于太空探索中动态移动增强现实（AR）环境下的人机交互问题，提出了一个名为URSA的、基于大型语言模型（LLM）的沉浸式AR用户界面系统，旨在支持未来月球和火星任务（如Artemis任务）中的机器人操作与监测。

核心内容包括：

1. 非侵入式AR头戴设备界面：基于HoloLens 2设计，确保宇航员视野不受遮挡，信息显示在 peripheral 区域，通过语音命令控制，减少认知负荷。
2. 语音控制AR界面：利用LLM（如Gorilla模型）实现语音交互，解决传统AR控制（手势、眼动等）在太空环境中的局限性（如宇航员手部受限、舱外活动操作不便），通过语音命令触发功能调用（如打开地图）。
3. 本地任务控制控制台（LMCC）：整合生物医学数据、宇航服系统信息、漫游车位置跟踪等，支持实时任务监控与管理。
4. 漫游车跟踪技术：构建了DTTD3数据集（含真实与合成数据，针对带可移动部件的机器人），并设计了DTTDNet模型，通过YOLOv8检测与深度数据鲁棒化处理，实现漫游车6自由度（6DoF）姿态估计，提升跟踪精度。
5. 挑战与未来方向：分析了数据收集难度、模型训练局限性、LLM幻觉问题等，并提出扩展数据集多样性、优化网络结构、提升实时性等方向。

创新点

1. DTTD3数据集