GesPrompt: Multimodal XR Interface Combining Speech and Gestures for LLM Assistants (arXiv:2505.0544

最新推荐文章于 2026-11-11 13:00:00 发布

原创最新推荐文章于 2026-11-11 13:00:00 发布 · 7 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出GesPrompt系统，一种融合语音与协同手势的多模态XR交互界面，专为降低用户在VR中向大语言模型（LLM）助手描述3D时空信息的认知负荷而设计。系统通过LLM识别模糊语音指令并触发手势处理器提取空间参数（位置、方向、大小、路径等），实现联合推理与参数自动补全。用户研究表明，其在任务完成时间（3.28秒/命令）、错误率（21.11%）和满意度（SUS 86）上显著优于纯语音或纯手势基线，验证了多模态LLM交互在XR中的有效性。

### 一、文章主要内容总结
本文提出了GesPrompt系统，这是一种结合语音和协同手势的多模态XR交互界面，旨在解决用户在虚拟现实（VR）环境中向基于大语言模型（LLM）的协同助手描述3D环境时的挑战。传统的纯文本或语音输入难以准确传达复杂的时空信息，而GesPrompt通过提取协同手势中的时空参考信息，减少了对精确文本提示的依赖，降低了用户的认知负荷。

#### 核心组件与工作流程：
1. **LLM系统**：负责将语音转换为文本，识别函数调用（如移动、旋转对象），并检测语音中模糊的参数（如“这里”“那个方向”），将其发送给手势处理器。
2. **手势处理器**：根据语音时间戳分割手势数据，提取空间参数（位置、方向、大小、路径等），例如通过手部射线检测指向位置，通过双手距离计算对象尺寸。
3. **XR系统**：执行函数调用，更新VR环境状态，并在参数缺失时提示用户补充信息。

#### 用户研究：
- **实验设计**：通过三阶段用户研究评估GesPrompt的准确性和用户体验，包括单参数任务（如移动、旋转对象）、多系统对比（GesPrompt vs. 纯手势 vs. 纯语音）和室内设计复杂任务。
- **主要结果**：GesPrompt在任务完成时间（平均3.28秒/命令）、错误率（21.11%）和用户满意度（SUS得分86）上显著优于基线系统，尤其在减少认知负荷和提升交互自然度方面表现突出。

#### 未来方向：
- 引入实时反馈机制，解决手势与语音的时间差异问题；
- 扩展至更复杂的手势、凝视等多模态输入；
- 适配增强现实（AR）和桌面平台，提升场景上下文理解能力。

### 二、文章创新点
1. **多模态交互创新**：首次将协同手

标签