GesPrompt: Leveraging Co-Speech Gestures to Augment LLM-Based Interaction in Virtual Reality

一、文章主要内容总结

本文提出了GesPrompt系统，这是一种结合语音和协同手势的多模态XR交互界面，旨在解决用户在虚拟现实（VR）环境中向基于大语言模型（LLM）的协同助手描述3D环境时的挑战。传统的纯文本或语音输入难以准确传达复杂的时空信息，而GesPrompt通过提取协同手势中的时空参考信息，减少了对精确文本提示的依赖，降低了用户的认知负荷。

核心组件与工作流程：

1. LLM系统：负责将语音转换为文本，识别函数调用（如移动、旋转对象），并检测语音中模糊的参数（如“这里”“那个方向”），将其发送给手势处理器。
2. 手势处理器：根据语音时间戳分割手势数据，提取空间参数（位置、方向、大小、路径等），例如通过手部射线检测指向位置，通过双手距离计算对象尺寸。
3. XR系统：执行函数调用，更新VR环境状态，并在参数缺失时提示用户补充信息。

用户研究：

• 实验设计：通过三阶段用户研究评估GesPrompt的准确性和