2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Sp...

本文介绍NASA SUITS 2024项目成果URSA系统,基于大型语言模型(LLM)构建沉浸式、非侵入式增强现实(AR)用户界面,支持太空任务中机器人操作。系统集成HoloLens 2语音控制、本地任务控制控制台(LMCC)及DTTDNet 6DoF姿态估计算法,并发布首个面向非刚体机器人的RGBD跟踪数据集DTTD3。关键技术涵盖LLM功能调用、RGBD模态融合、深度鲁棒化处理与实时姿态估计。

文章主要内容总结

本文是2024年NASA SUITS项目的研究报告,聚焦于太空探索中动态移动增强现实(AR)环境下的人机交互问题,提出了一个名为URSA的、基于大型语言模型(LLM)的沉浸式AR用户界面系统,旨在支持未来月球和火星任务(如Artemis任务)中的机器人操作与监测。

核心内容包括:

  1. 非侵入式AR头戴设备界面:基于HoloLens 2设计,确保宇航员视野不受遮挡,信息显示在 peripheral 区域,通过语音命令控制,减少认知负荷。
  2. 语音控制AR界面:利用LLM(如Gorilla模型)实现语音交互,解决传统AR控制(手势、眼动等)在太空环境中的局限性(如宇航员手部受限、舱外活动操作不便),通过语音命令触发功能调用(如打开地图)。
  3. 本地任务控制控制台(LMCC):整合生物医学数据、宇航服系统信息、漫游车位置跟踪等,支持实时任务监控与管理。
  4. 漫游车跟踪技术:构建了DTTD3数据集(含真实与合成数据,针对带可移动部件的机器人),并设计了DTTDNet模型,通过YOLOv8检测与深度数据鲁棒化处理,实现漫游车6自由度(6DoF)姿态估计,提升跟踪精度。
  5. 挑战与未来方向:分析了数据收集难度、模型训练局限性、LLM幻觉问题等,并提出扩展数据集多样性、优化网络结构、提升实时性等方向。

创新点

  1. DTTD3数据集
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值