14、人机对话中的引用解析与对话行为识别

人机对话中的引用解析与对话行为识别

在人机对话领域，引用解析和对话行为识别是两个关键的方面，它们对于实现高效、连贯的人机交互起着至关重要的作用。

引用解析

引用在人机对话中扮演着重要角色，它建立了语言表述与待执行任务世界之间的联系。一方面，引用指向任务世界中可访问和操作的对象，这可以通过精心选择的词汇和表达方式，或者在多模态系统中结合指向手势和适当的语言表达来实现；另一方面，引用还涉及任务世界中可以执行的各种动作。

“put that there” 语句分析

以 “put that there” 这个引发多模态对话开端的例子为例，在基于语音的绘图软件使用框架下，其含义会因不同情况而有所不同：
- 当 “that” 指的是图形调色板中不能移动的静态对象时，“put” 表示生成一个相同副本的动作，而非移动。
- 若 “that” 所指对象未存放在正确位置，或者配置或方向不正确，“put that there” 可能不仅是移动，还可能是旋转或根据已排序对象的设置进行分类。
- “that” 的引用依赖于 “there” 的引用解析结果。例如，“there” 所指的位置可能是对某类对象进行分类的地方，而伴随的 “that” 手势在不同类别的多个对象之间可能存在歧义。
- “there” 的引用也依赖于 “that” 的引用解析结果。比如，指着房间的某个区域说 “put carpet there” 和 “put a nail there”，含义是不同的。
- “there” 的引用还依赖于特定知识。例如，当 “that” 指的是一个电源插头时，伴随 “there” 的手势即使执行得很精确，也不能精确指向插头的位置，因