多面环境学习报告

学习心得

Multisurface Environments（多面环境）

前言

《The Wiley Handbook of Human Computer Interaction》在这一章节介绍了Multisurface Environments 的定义，演变过程以及该环境涉及到的交互方式与环境设计。在本文中，将Multisurface Environments直译为多面环境，其中“面”主要指不同种类，数量的显示设备，接下来我会结合原文内容，扩充了解以及实际应用来展示自己的学习收获。

PS：文中很多链接都需要翻墙才能打开，提到的论文基本可以用校园网在ACM数据库里查到。

第一部分：定义

Multisurface Environments，即MSEs在原文中的定义为：
“多面环境是一种空间感知环境，其中与信息的交互分布在几个不同的设备上，如数字桌面、墙壁显示器、平板和手机，以及设备之间的空间。这种相互操作的分布意味着该环境中的多个用户可以使用任意数量或不同组合的设备执行多种活动。”

如图就是由墙壁显示器，数字桌面，手机和平板组成的一个MSE简单示例，多面环境系统能够在多个显示器（包括共享设备和个人设备）上进行交互作用，设备的多样性使得用户能够轻松地操作，共享数据，这种系统通常应用于大型的工作站或会议室中。近年来，MSEs以及如何在MSEs中进行交互以及获得了极大的关注。

在MSEs的含义中要着重提到的有两点：
（1）MSEs中的设备和传感器会为用户提供多种多样的输入方式，使用MSEs后，应用程序和内容不再绑定到单个设备，而是分布在环境中的设备之间或空间本身中。
（2）MSEs强调空间意识的概念，要求环境中的设备具有一定的空间感知能力，即设备和显示器知道彼此的位置，空间中的人的位置，动作等属性。

设备的空间意识可以通过传感器实现，如Occipital公司最近推出的Structure Core深度传感器，可以为安卓设备和AR/VR头显和机器人带来空间感知能力，它包含一对红外摄像头，一个激光投影仪，一个能够实现更优追踪性能的可选160度对角视场摄像头，或者选择一个用以捕捉彩色+深度图像的RGB摄像头。
Structure Core链接：https://structure.io/structure-core


空间感知能力能够帮助用户单独或使用设备实现更加自然的交互，如使用手机指向墙壁显示器并进行一系列交互：选取显示器上的内容并获取到手机上，使用手机操纵显示器上的内容等。

关于输入方式和空间感知的详细内容将在后文讨论。

第二部分：演变

原文中，MSEs概念的转变大致分为三个阶段。
早期
在早期的研究文献和原型中，MSE被称为Multidisplay environments（多显示器环境），多显示器环境是指用户可以与多个显示器(如壁式显示器和计算机显示器)进行交互的环境。用户通常通过键盘和鼠标输入与这些不同种类的显示器交互。

在早期原型出现之前，大型工作组中的成员如果想要进行分享或协作，需要从自己的工作站移动到其他工作站进行工作，这是非常不方便的。早期原型的出现正是为了解决这种情况，众多的个人工作站和大型共享显示器被结合到一起，用户在个人工作站中进行输入，而大屏幕作为一个共享区域，用户可以放置内容到上面方便协作讨论。

Courtyard就是这样一个典型的早期原型，来源于一篇论文：
Courtyard: integrating shared overview on a large screen and per-user detail on individual screens
链接：https://dl.acm.org/citation.cfm?doid=191666.191690
用户可以使用鼠标指针将个人计算机屏幕上的内容拖动到大的共享屏幕上，同时内容的尺寸也会随之改变以适应大屏幕。