23、多模态界面助力决策：创新系统解析

多模态界面助力决策：创新系统解析

1. 系统背景与目标

在决策支持系统领域，现有的一些系统存在局限性。例如，Evizeon虽支持自然语言交互进行高级数据查询，但不适合多用户和会议环境，无法促进快速决策；Ehnes等人提出的系统，其目的是自动检索讨论的文档并显示在桌面上，并非辅助分析过程。在此背景下，我们提出了一种新颖的多模态可视化分析系统，旨在提高生产力，促进多用户决策过程。

2. 系统组成部分

系统由辅助分析代理、多显示屏墙和交互式可视化分析（VA）框架组成。下面详细介绍各部分如何增强多用户决策过程。

2.1 分析代理

分析代理在协作可视化分析会话中发挥着重要作用，其主要功能包括：
- 提取对话含义 ：分析参与者之间的对话，呈现相关方案或图表。
- 响应问题 ：回答参与者关于数据或开放领域的问题。

分析代理模块通过由两个显示器组成的多显示屏墙与参与者进行通信，具体功能如下：
- 交互性
- 人机交互 ：利用麦克风和自动语音识别（ASR）系统进行语音识别。用户可直接向分析代理询问会议主题或开放领域的问题。若问题与数据相关，分析代理以规则方式分析句子并给出响应；若为开放领域问题，则将其导向在线日常对话机器人获取答案并展示给用户。此外，分析代理在会议中作为积极的倾听者，若推断出用户正在讨论的数据部分，会计算相关图表并显示在多显示屏墙上；若检测到用户偏离会议主题超过阈值，会礼貌地提醒会议领导者。
- 代