9、从桌面系统到桌面交互：将技术融入交互式表面

从桌面系统到桌面交互：将技术融入交互式表面

1. 桌面交互概述

为了实现与桌面可见内容的直观交互，需要使用鼠标和键盘之外的设备。有一类设备因其固有功能易于识别，被称为“物理图标”或“phicons”。这类设备通常与桌面系统有静态关联，系统不仅能检测其位置，还能识别其标识符（ID），一旦ID确定，其底层功能也就明确了，因为这种关联不可更改。不过，其他桌面系统采用动态关联，能使用更简单的检测算法。在动态关联的情况下，设备更具通用性，其直观性仅由显示内容（即图形用户界面，GUI）保证，且这种动态关联由用户触发，并遵循预定义步骤，这可能需要用户进行一定学习。

1.1 跟踪与识别

桌面系统必须能够检测交互设备的位置，对于phicons或其他专用输入设备，还需识别其ID。设备位置对全局交互显示很重要，而ID则有助于将设备的特定功能集成到具体应用中。

虽然跟踪技术在虚拟现实领域已有深入研究，但在二维桌面表面进行跟踪仍颇具挑战。除了平面交互的自由度，更多自由度也变得重要，例如在基于笔的交互中，z坐标可用于区分书写和指向操作。此外，跟踪和检测系统的延迟应低于用户的感知阈值，否则会引起用户不适。跟踪和识别系统的一项关键任务是区分用于交互的对象（如手指）和非交互对象（如咖啡杯或用户的手侧），因为在正常操作中，桌面上可能会放置各种非交互对象，这些对象可能会干扰桌面系统，例如产生阴影效果。与鼠标这种相对定位设备不同，桌面系统的跟踪系统支持绝对定位，即能在用户放置设备的位置进行检测。

1.2 桌面系统分类

除了交互和跟踪方面，还可以从技术角度对桌面系统进行分类。通过考虑各个技术组件的位置以及多用户能力、触摸检测、TUI交互、ID和状态（如被