24、多模态界面助力决策：系统设计与应用评估

多模态界面助力决策：系统设计与应用评估

在当今复杂的数据环境中，为了更有效地支持决策制定，一种融合桌面交互和分析代理的系统应运而生。本文将深入介绍该系统的构成、工作原理以及通过定性评估得出的实际应用效果。

1. 系统架构与模块通信

1.1 系统模块组成

系统主要由桌面和分析代理两部分构成。分析代理包含多个子模块，如代理思维、语音识别、用户注册与跟踪、对话挖掘、手势识别和可视化等。这些子模块之间通过消息传递进行通信，以实现协同工作。

1.2 模块通信机制

各子模块在会话开始时向代理进行注册，之后可以通过代理的思维进行相互通信。通信过程中，采用推送通知机制，即当子模块接收到消息时，其消息处理程序会被触发。消息包含发送者、接收者和消息内容，代理会将消息路由到指定的目的地。以下是一些示例消息：
| 发送者 | 接收者 | 意图 | 消息内容 |
| — | — | — | — |
| VA 可视化 | 代理思维 | 注册 | 无 |
| VA 手势识别 | 代理思维 | 触摸数据 | {触摸位置} |
| 用户跟踪 | 语音识别 | 说话者 | {说话者 ID} |

1.3 通信流程

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(子模块):::process -->|注册消息| B(代理思维):::process
    C(子模块 1):::process -