28、具备自动内容分类功能的多模态激励接口

具备自动内容分类功能的多模态激励接口

1. 引言

在当今的移动设备使用场景中，视觉注意力并非总是方便集中，因此开发非视觉界面具有重要意义。本文介绍了一种基于主动探索的非视觉界面，用于在移动设备上显示数据。用户通过摇晃设备，就像摇晃一个装有东西的盒子，感受内部“物品”的晃动，以此获取信息。这种界面结合了基于样本的接触声频化和事件回放触觉反馈，为用户提供了丰富且引人入胜的体验，就像盒子里有球在滚动一样。

1.1 动机

我们提出的多模态交互方式，让用户主动从设备中激发信息，并与系统进行连续的闭环交互。这种方式借鉴了基于模型的声频化理念，其核心思想是将现实世界中的环境声音生成作为模型，构建一个虚拟场景，定义“虚拟物理”规则，让用户通过交互激发系统并聆听反馈。

与非交互式显示不同，这种主动感知方法利用了人们对动态系统演变的预期，反馈与输入紧密耦合，避免了不必要地打扰用户，同时为用户提供更丰富、更有信息量的反馈。用户清楚自己的操作动作，并能在这个背景下解读显示的信息。

由于移动设备常被用于不方便使用视觉注意力的场景，纯非视觉线索相较于以视觉为主的技术具有显著优势。通过物理模型并对其行为进行扩展，可以快速呈现信息，同时不破坏人们对物理系统演变的直觉。这种交互方式设计为可盲操作，用户在黑暗房间中拿起手机摇晃，无需视觉关注就能了解可用消息的大致情况。

1.2 背景回顾

构建成功的免视界面，关键在于实现触觉和音频感觉的逼真合成。近年来，人们对接触声音的物理模型和相关振动轮廓产生了浓厚兴趣。基于模型的设计方法能够在无需大量临时设计的情况下，创建合理且易于解释的多模态反馈。

例如，Yao和Hayw