使用3D跟踪的被动棒的大型显示器交互技术

VisionWand：使用3D跟踪的被动棒的大型显示器交互技术 .

ABSTRZCT

对一种作为与大型显示器交互的新输入机制—利用计算机视觉技术对被动棒进行三维跟踪的技术进行了研究。我们展示了各种各样利用棒的可供性的交互技术，从而为大规模交互提供了有效的界面。棒上没有任何按钮或其他电子设备，这是一个挑战，我们通过开发一组姿势和手势以跟踪状态和启用命令输入。我们还描述了多个棒的使用，以及未来更复杂的棒的假设设计方案。

Keywords: 视觉跟踪、大显示屏、手势、交互技术、输入设备、无按钮输入

INTRODUCTION

大幅面直立显示器 - 从40“到60”等离子面板到由多台投影仪驱动的超大规模（> 8’）高分辨率显示器 - 使我们能够处理大量同时显示的可视数据，并且使多人能够在一个显示器上更有效地一起工作。事实上，近年来，许多研究人员已经认识到这种大规模显示器的价值，并为其探索了各种应用，包括协作组件[12]，电子白板[8,21]和工业设计[3,13]，其他如Guimbretière等人[15]研究了更多的一般互动问题。

虽然商用大型显示器的视觉质量已经非常高且还在进一步提高，可用的研究应用范围也相当可观，但在与这种规模的显示器交互时使用什么样的输入技术仍然是一个悬而未决的问题。迄今为止最有前途和广泛采用的输入机制 - 使用各种技术的单手指或笔输入[8] ，[www.smarttech.com]- 要求用户站在显示器附近并且仅限于单点两个自由度交互，就像使用标准鼠标一样。虽然这种约束适用于许多应用[12,15,21]，但其他[3,13]受益于用户在远离显示器的同时操作具有更高自由度输入设备的界面。目前用于此类“远距离”交互的输入技术包括各种3D跟踪器[31]，激光指针[20,22,23]，定制棒[32,33]，以及使用计算机视觉跟踪用户的手[6,10,29]。然而，所有这些技术都有各种各样的局限性，我们将在本文后面讨论。

在本文中，我们探讨了使用计算机视觉技术在3D空间中跟踪的被动棒作为与大规模显示器交互的替代输入设备的想法。这款VisionWand是一个带有彩色末端的简单塑料杆（图1a），没有任何嵌入式电子设备，由一对商品（<$ 100）相机跟踪（图1b）。棒的成本可以忽略不计，因此可以随时提供，使用或丢弃多个版本。由于棒的两个末端点在3D中被跟踪，因此得到的输入是3D射线，与2D点输入相比，允许更丰富的动作词汇。然而，因为没有按钮或其他方式直接从设备本身提供状态信息，电子设备的缺乏带来了挑战。我们通过开发一组手势和姿势来实现命令输入来应对这一挑战。使用物理棒而不是自由手势不仅简化了视觉算法，而且允许利用物理工具的可供性的交互技术，从而产生由Rekimoto和Sciammarella定义的“丰富动作”输入[25]。我们提供了一套探索性的交互技术，它们利用了所有这些特性。

RELATED WORK

对于大型显示器来说，最常见且商业上可行的输入技术是通过直接触摸、使用笔或两者同时使用来跟踪具有2自由度的单点输入的系统。例如，Liveboard系统[8]使用光学笔，斯坦福交互式壁画（Stanford Interactive Mural）使用无线Ebeam笔[15]，而智能板（SmartBoard）系统（www.smarttech.com）支持手指和笔输入。这些系统的优点是高分辨率跟踪和单点输入向后兼容现有的图形用户（GUI）界面。限制包括只有单点2自由度输入，并要求用户靠近显示器工作，降低了用户在交互时可视化整个大显示屏的能力。

另一种方法是使用光学，电磁，声学，惯性或无线电跟踪技术来跟踪3D空间中的一个或多个同时输入的点。见Welch等[31]对各种技术进行优秀的调查。十多年来，虽然这些跟踪器使我们能够对高级交互技术进行原型设计[13,14]，但它们的成本仍然相当高（从最便宜的跟踪器几千美元到更复杂的运动跟踪系统几十万美元不等）因此，它们不适用于广泛使用。此外，更便宜的技术通常受到限制，从而降低了用户的移动自由度。

最近，一些研究人员探索了使用标准激光指示器作为大型显示器输入的方法[20,22,23]。它们具有低成本的优点，但是具有一个基本限制，即没有按钮来增加跟踪输入的单点。因此，即使是标准的鼠标操作也是不可能的。为了解决这个问题，Olsen和Nielsen [23]探索了使用停留时间和其他技术来取代按钮按压.Oh和Stuerzlinger [22]增加了带按钮的激光指示器，从而产生了一种“来自远处”的输入技术，该技术可以操作标准GUI中的所有交互技术。使用巧妙的多路复用技术，他们甚至能够同时区分和跟踪多个激光指示器。然而，所需的额外电子元件降低了激光指示器的主要优点：低成本和普遍性。

计算机视觉在人机交互中的应用一直是研究界的一个目标。各种优秀的调查文章[6，10，29]讨论了迄今为止的进展。这一领域中与大规模显示相关的许多研究都集中在使用视觉技术跟踪徒手手势这一相对困难的任务上。例如，Ringel等人[26]描述了一个聪明的系统，该系统将手姿势的视觉跟踪与智能板集成在一起，从而能够与超出单点输入的大型显示器进行直接的手上交互。弗里曼等人[11]描述了一个使用徒手手势控制电视的系统，而Segen和Kumar[28，29]描述了一个虚拟现实系统，该系统使用一小组手势的视觉跟踪进行空间交互。

早期的虚拟现实系统倡导者[17]和其他人[1，2]也探索了使用手势输入与大型显示器交互，通常使用带仪器的手套跟踪手和手指。然而，考虑到戴上手套进行互动带来的巨大不便，这种方法从长远来看不太可能成功。

在用手握手势与计算机交互的过程中，表面上可能会产生吸引力，但在深入分析时，显然他们没有利用人类固有的能力来使用物理工具和由这些工具所能实现的丰富的行动词汇，如Rekimoto和Sciammarella[25]所述。工具的物理形式通常可以作为触觉记忆辅助用户关于他们可以执行什么功能，而使用徒手手势，用户必须完全依赖于从记忆中回忆。有关可抓取[9]和有形[16]界面的大量文献提供了用户界面中物理可操纵实体的价值的进一步证据。虽然一些研究人员（例如，Ringel等人