27、构建多模态接口与物联网用户创建应用的交互设计探索

构建多模态接口与物联网用户创建应用的交互设计探索

1. 多模态接口构建基础

在多模态接口的构建中，我们以一个多模态对话导航原型为例。MINT 框架无需从特定模型开始，我们先对具体（图形）界面进行建模，随后添加 AUI 层以集成更多模态。

1.1 图形界面导航建模

图形界面建模需要通过选择合适的交互器（如按钮、组合框或菜单）来组合屏幕，这些交互器被称为具体交互对象（CIO）。其基本交互器的生命周期包括定位、展示、隐藏和禁用阶段。
- 定位阶段 ：每个 CIO 交互器通过识别可通过界面导航到达的相邻对象来计算其绝对屏幕坐标。
- 展示阶段 ：交互器成为活动用户界面（UI）的一部分，并对导航事件做出反应。用户可以导航到交互器，使其“高亮显示”。

以下是鼠标的类图和状态图：

IR:IN:Pointer
stopped
[move]
[stop]
moving
IR:IN:Button
released
[press] [release]
pressed
IR:IN:Wheel
IR:IN:Mouse
IR:IN:Mouse
Mouse
Button
Wheel
Pointer
LeftButton
RightButton
- x,y
- z

在第一个 CIO 交互器被高亮显示后，可以向高亮的交互器发送上、下、左、右事件以进行导航。每个事件会“取消高亮”接收交互器，让其搜索目标交互器并发送“高亮”事件。

对于导航，有多种模态可供