59、用半透明实体控件增强交互式桌面

用半透明实体控件增强交互式桌面

1. 引言

交互式多点触控表面是对传统直接操作图形桌面隐喻的有趣扩展。直接操作提供了一种自然的方式与图形用户界面（GUI）进行交互，在交互式多点触控表面上，用户可以直接触摸和拖动对象，无需键盘或鼠标的间接操作。此外，交互式桌面便于多人同时协作，支持共享视觉信息，符合普适计算理念，让用户更自然地与系统交互。

然而，将传统桌面应用直接移植到多点触控桌面存在问题。操作系统和应用程序未针对多输入和手势交互进行设计，且虚拟控件缺乏触觉反馈，操作时需要视觉关注，打字不便且易出错，手指操作小控件时还会出现精度和遮挡问题。

实体用户界面（TUIs）能提供自然的触觉反馈，但多数是专用的，外观固定。因此，引入半透明通用实体控件——硅胶照明有源外设（SLAP），它结合了物理和虚拟控件的优点，具有很强的可用性和触觉反馈，且外观可动态改变，适用于无需视觉操作的任务，有助于开发上下文敏感的控件和探索替代界面形式。

2. 背景

2.1 触觉和触感显示

触觉和触感显示旨在模拟物理对象和纹理的触觉感受。目前的技术包括针式显示器、形状记忆合金、气动变形区域和振动反馈等。但这些技术提供的物理可用性和反馈有限，无法实现复杂控件，且成本高，不适用于大尺寸表面。

2.2 桌面上的实体对象

Fitzmaurice 等人强调了物理对象丰富的可用性，并引入了可抓握用户界面的概念。Ishii 和 Ullmer 在此基础上提出了实体用户界面（TUIs），将数字数据赋予物理形式。

一些早期系统探索了实体对象在交互式表面的应用，如 Illuminating Light 可模拟