虚拟现实中的眼睛跟踪

本文旨在介绍虚拟现实中眼动跟踪的新兴领域。虚拟现实本身是消费市场上的一项新兴技术，这将为研究创造许多新机会。它提供了一个高度沉浸的实验室环境，并与现实密切相关。一个使用虚拟现实的实验是在高度受控的环境中进行的，可以收集关于受试者动作的更深入的信息。眼球跟踪技术是一个多世纪前引入的，现在已经成为心理学实验中的一种成熟技术，但最近的发展使其具有多功能性，价格合理。结合这两种技术，可以在半现实条件下前所未有地监测和控制人类行为。

本文将以一个案例研究为例，探索在虚拟现实中使用眼睛跟踪进行实验的方法和工具。在技术描述的同时，我们展示了该技术的有效性，并展示了在虚拟现实中使用眼睛跟踪时可以获得什么样的结果。

它旨在引导读者通过将虚拟现实与眼睛跟踪相结合的过程进入实验室，并激发新实验的想法。

引言

最近的技术进步导致了虚拟现实技术的快速发展。虚拟现实技术的发展在一定程度上受到游戏行业的推动，游戏行业为商业目的大量生产虚拟现实套件。

因此，它被不断地进一步开发和改进，从而获得更高的分辨率、更高的刷新率和更大的视野。高性能显示器、图形卡和其他计算机硬件使得以合理的价格生产强大的虚拟现实工具包成为可能（虚拟现实学会，2017）。这些发展使虚拟现实成为一种非常有价值和更容易获得的研究工具。

虚拟现实的优点是控制良好的实验装置，同时仍然让受试者自由移动，并将其放置在相对自然的环境中。就像在现实世界中一样，受试者可以通过移动头部向各个方向看。在头部运动的同时，可以高精度测量与受试者位置相关的刺激位置。

事实上，可以实现全身运动，例如转向物体，甚至走路。通过身体运动和提供给眼睛的图像的同步，可以实现主体与虚拟环境的高度沉浸。通过向感官提供有关该环境的信息，受试者在非物理环境中获得存在感（Mestre&Vercher，2011）。

这有助于与人工创建的刺激进行更自然的交互。运动跟踪允许记录受试者的所有运动。因此，在受控条件下跟踪行为，这些条件可以在多个试验中相同。受试者对3D世界的更直观探索以及受试者运动和环境变化之间的对应关系提高了实验范式的生态有效性。因此，虚拟现实的发展与在更少人工条件下进行实验的努力是一致的，这被认为是真正理解认知过程所必需的（Jungnickel和Gramann，2016）。

眼睛跟踪是一种成熟的技术，广泛用于研究人类认知。20世纪初，它首次使用带有指针的特殊隐形眼镜（休伊，1908）。30年后，通过使用光束并记录其在胶片上的反射，这项技术得到了优化（Buswell，1938）。眼动研究的现代方法是在20世纪60年代发展起来的（Tatler、Wade、Kwan、Findlay和Velichkovsky，2010；Yarbus，1968），并从那时起得到进一步完善。在过去几年中，监测眼球运动的确切方法发生了很大变化。如今，使用计算机视觉技术的基于视频的系统占主导地位（Hansen和Ji，2010）。

由于为智能手机等设备开发了小型、高质量的摄像头，现在有可能拥有轻便、方便的眼球跟踪系统，甚至可以安装在虚拟现实耳机或便携式眼镜中。这些可以快速准确地监测眼球运动，提供大量数据。由于眼球运动与认知之间的密切关系（Deubel&Schneider，1996；J.E.Hoffman&Subramaniam，1995），眼球跟踪在各种实验环境中受到越来越多的关注。随着眼球跟踪领域的技术进步和研究量的增加，它现在已经发展成为一种可以在各种装置中有效地用于研究人类认知过程的技术。

与经典的眼球跟踪相比，虚拟现实中的眼球跟踪是一个相对较新且有希望的发展，它在本世纪初首次出现在文献中（Duchowski等人，2000）。它为开展有关人类感知和行为的研究开辟了许多新的可能性。它为搜索者提供了以前无法使用的工具。

这些工具包括VR系统的全身运动跟踪以及眼动跟踪器的视线跟踪。虽然受试者发现自己处于一个相对自然的环境中，对自己的动作和动作做出反应，但所有实验设置都可以具体控制。眼睛跟踪和虚拟现实的结合使我们能够在3D空间中计算受试者的凝视，并观察受试者在会话期间的注视位置。与真实世界的眼睛跟踪相反，在虚拟现实眼睛跟踪中，很容易在三维空间中定义感兴趣的区域，并及时跟踪点，以确定观察区域的时间。眼球跟踪和虚拟现实技术的结合，具有更自然的刺激、更自然的运动、受控的环境和受控的数据采集等优点，使得以一种彻底创新的方式回答许多研究问题成为可能。

本文将介绍虚拟现实中眼睛跟踪的技术和实践方面，旨在使其更广泛、更容易实现。我们将简要概述这种新的方法组合，并详细描述如何在您自己的实验室中设置和实现它。我们将研究该工具在研究环境中的使用场景，以及其优点和潜在缺点。此外，我们将描述可以收集的数据类型。重点是使用带有运动跟踪器和内置眼动跟踪器的虚拟现实系统，因为这些是收集数据的主要方法。可以使用多种软件和硬件解决方案。

没有任何关于使用最佳软件或硬件的声明，部分原因是我们的经验受到我们使用的硬件和软件的偏见，部分原因是因为这是一个蓬勃发展的行业，经常出现新的选择。工具和软件将通过适当的方式提供。阅读本文时，有关实现的一些技术方面可能已经改变或变得更容易。目的是为这一领域的新手提供基本介绍和可能的指导。这些信息应该有助于获得一个良好的开端，我们的样本数据可以向任何考虑使用这种技术进行研究的人展示虚拟现实的巨大可能性，并为未来的实验激发新的想法。

【方法】

【实验装置的组成】

在虚拟现实中使用眼睛跟踪的完整实验装置包含许多部分。这里概述了典型设置的硬件和软件组件。

VR硬件设置。

这包括头戴式显示器（HMD）、运动跟踪器和与虚拟世界交互所需的控制器（图1A）。Oculus 1和阀门公司以及HTC 2提供了一套完整的高品质组件。另一种选择是索尼3的PlayStation VR，您也可以使用Unity开发应用程序（Unity Technologies，2017）。微软还提供消费者虚拟现实耳机，您可以为其开发自己的应用程序4。此外，还提供了仅使用智能手机屏幕和硬纸盒的简单而廉价的解决方案5。然而，由于较低的刷新率、较低的计算能力以及到目前为止还没有现有的眼球跟踪解决方案，这些都不是研究的最佳选择6。

软件。

设计虚拟实验的常用工具是Unity 7、Unreal Engine 8或Vizard 9。前两个是游戏引擎，免费提供，而后一个更具体的虚拟现实。Unity使用JavaScript和C作为编程语言。Unreal使用C++并拥有一个可视化脚本系统。在Vizard中，使用Python编写脚本。通过这三种方式，您可以创建简单或复杂的3D环境，编写不同对象行为的脚本，并提取有关主体行为的信息。

PC硬件。

尽管PC硬件在过去三十年中有了长足的发展，但当前的虚拟现实应用甚至测试了最新系统的计算能力。这尤其适用于渲染具有许多可能是动态对象、详细纹理或照明变化的复杂场景。以高帧速率运行虚拟现实环境很重要，因为反应滞后和抖动运动很容易导致受试者晕车。计算机通常用作眼动跟踪器和虚拟现实硬件之间的接口，并用于收集有关受试者行为的所有数据。

 

眼动跟踪器。

这些是专门为不同类型的头戴而设计的。目前为头盔显示器提供眼动跟踪器的公司有小学生实验室（图1C）10和Tobii 11。FOVE目前提供了一款已经集成了眼动跟踪器12的头盔显示器。

耳机。

这些可以减少来自外部的分心声音，并支持强烈的沉浸感。当然，它们也可以用于特定的听觉实验。声音可以在3D空间中从不同的来源播放，因此音量可以根据主体转动头部的方式而变化（图1A）。

电缆管理。

大多数虚拟现实设置涉及将头盔显示器（和眼动跟踪器）连接到计算机的多条电缆。由于受试者通常在虚拟现实环境中移动，他们可能会被耳机的电缆缠住。这可以通过安装一个简单的电缆管理系统（图1B）来避免，因此我们强烈建议安装该系统。一些供应商为HMD 13提供无线解决方案，这是一个很好的替代方案。然而，大多数头盔显示器眼睛跟踪器仍需要某种电缆管理。一次性卫生盖。虚拟现实设置是在考虑单个客户的情况下进行的。然而，在实验室环境中，许多人会使用相同的耳机。具体来说，耳机坐垫会接触受试者的面部，温暖会导致出汗。因此，为了有一个舒适的体验，并增加卫生程序，强烈建议使用耳机接触受试者皮肤的一次性护盖。

【虚拟现实中的运动病、疲劳和其他问题】 

运动病通常由视觉和前庭刺激之间的差异引起。例如，在船内，由于眼睛看到稳定的场景，但前庭系统检测到运动，因此会引起晕船。

在虚拟现实中会出现相反的效果。在虚拟现实中，眼睛检测场景的运动和玩家的明显运动，而在大多数情况下，真实的人是站在椅子上。来自眼睛的输入和来自前庭系统的输入之间的这种差异导致了虚拟现实中运动病的主要部分。维护实验所必需的功能，例如能够四处走动或使用更大、更复杂的场景是很困难的。避免晕车的最简单解决方案是设计一个虚拟环境，在那里受试者不必走路。在游戏虚拟现实中，最常见的走动方式是隐形传态14，因为这可以通过减少感觉不匹配而导致轻微运动病的方式实现。然而，这不是一种非常自然的运动方式，因此许多研究问题都不需要这种选择。另一种选择是让子对象在现实世界中的跑步机上行走，以便接收到的运动与虚拟现实中看到的运动相匹配。然而，这很难实现，尤其是当主体可以自由地向各个方向移动时。一个解决方案是使用全方位跑步机，但这项技术还没有很好的发展，而且相当昂贵。

作为一种替代方法，可以让主体坐在转椅上自由旋转，从而忽略真实空间中的平移。总的来说，关于虚拟现实中运动的最佳决定取决于一个人的实验和他想回答的问题的类型。此外，该领域目前有大量的发展，并且经常出现预防运动病的新想法。除了优化虚拟现实中所需的动作外，调整3D环境和实验设置的细节有助于将晕车降到最低。与传统显示器相比，虚拟现实中的子对象对小干扰更敏感，因为它们对现实有更高的期望。例如，电脑游戏的潜伏期可能为50ms或更高，但在虚拟现实中，超过15-20ms的潜伏期可能会导致严重的头晕和恶心&