29、探索VR信息可视化中的直观手势交互

探索VR信息可视化中的直观手势交互

在当今数字化时代，数据的理解和处理对于企业的成功至关重要。虚拟现实（VR）中的信息可视化技术为数据的分析和消化提供了新的途径。本文将探讨如何通过直观的手部手势控制，增强VR信息可视化的沉浸感，并深入研究相关的实验和发现。

1. 研究背景与问题提出

在VR环境中，信息可视化的沉浸感及其带来的益处需要进一步深入研究。我们关注的问题是，是否存在可以通过直观手部手势控制的视觉信息寻求准则（VISM）任务。具体而言，我们要探究在VR信息可视化应用中，获取概览、缩放以及查找详细信息所需的直观手势。

2. 研究方法

2.1 VR应用选择

为了观察参与者在VR中与数据交互时自然使用的手势，我们基于现有的信息可视化应用进行了实验。在对主要的VR应用平台进行搜索和评估后，发现只有少数适用于VR的数据可视化应用，其中仅有“Force - Directed Graph”可以通过手势控制。

“Force - Directed Graph”是由Zach Kinstner创建的实验性数据可视化演示应用，可在Leap Motion社区画廊中获取。该应用以力导向图的形式可视化数据节点，数据节点是随机生成的，且无法导入自定义数据集。

在研究期间，该应用的可能交互方式包括：
- 推和击打节点
- 抓取节点
- 点击节点（打开节点详细菜单）
- 左手手掌菜单（打开主菜单）
- 在虚拟空间中环顾

节点的详细菜单和主菜单提供了各种操作选项，如更改节点的颜色、大小或数量。在我们的实验中，“Force - Directed Graph”应用运行在Windows 10系统上，搭配Oculus Rift消费者版头显和Leap Motion控制器来检测手部手势。

2.2 VISM任务与应用功能匹配

VISM相关任务对于寻求和理解可视化信息尤为重要。由于可用的VR应用缺乏合适的功能，我们决定评估概览、放大、缩小和按需查看详细信息的任务，而不评估过滤任务。具体任务与应用功能的匹配如下表所示：

VISM 2.0任务	手势输入（预定义）	视觉输出（预定义）
概览	头部移动	虚拟空间中数据可视化的概览
放大	选择菜单/图形/缩放（左手手掌）	放大
缩小	选择菜单/图形/缩放（左手手掌）	缩小
按需查看详细信息	用食指点击数据节点	打开包含节点详细信息的弹出窗口

由于应用中没有直接获取节点概览的功能，我们选择头部移动（即环顾四周）来评估概览任务。虽然这并非原始VISM框架中所期望的直接数据概览，但在更广泛的意义上仍代表了获取概览的相关任务。

尽管应用通过主菜单提供了缩放功能，但尚未实现直接的手势控制。不过，我们可以通过让参与者假装存在该功能，观察他们直观使用的缩放手势。

2.3 调查与实验流程

实验采用了严格结构化的调查方式，问题和任务按固定顺序进行。首先，收集参与者的人口统计信息以及他们在VR和基于手势的应用方面的经验水平。然后，指导参与者环顾四周，获取数据可视化的概览，并执行推和抓取数据节点的基本任务。这不仅让他们适应虚拟环境，还让他们相信后续任务如果操作正确会得到反馈。

接下来，继续研究以下VISM任务：
1. “查找数据节点的更多详细信息”（按需查看详细信息）
2. “通过放大靠近节点网络”（放大）
3. “通过缩小使节点网络看起来更小”（缩小）

由于部分实验使用英语进行，部分使用德语，且参与者对技术术语的了解程度不同，问题的具体表述略有差异。实验结果通过在线调查工具收集，并导出到SPSS进行分析。实验结束后，对观察到的手势描述进行分类，以获得可比结果。

3. 研究发现

3.1 参与者特征

实验在大学校园进行，共有30名参与者。大多数参与者是学生（73%）或学术人员（20%），背景广泛，包括教育科学、法律、商业信息系统等。大部分参与者年龄在18 - 34岁之间（96.7%），仅有1名参与者年龄在35 - 54岁之间（3.3%）。在实验中，女性占比67%。

从VR经验来看，23名参与者表示熟悉VR（观看过相关VR应用视频、已尝试或体验过）。然而，与VR经验形成对比的是，20名参与者没有VR手势控制的经验，只有8名参与者表示已经尝试或体验过。

3.2 按需查看详细信息任务结果

在让参与者熟悉环境后，要求他们查找数据节点的详细信息。结果显示，30名参与者中有80%成功找到了正确的手势，即使用食指点击节点。另一种常见的尝试是用一只手抓取节点（占所有尝试的24%），尽管这个手势在介绍阶段已经使用过。

以下是该任务各次尝试中最流行手势的分布情况：

最流行手势	第一次尝试	第二次尝试	第三次尝试	总体
点击节点	13 (43%)	9 (52%)	2 (25%)	24 (44%)
用一只手抓取	9 (30%)	4 (24%)	0	13 (24%)
其他	8 (27%)	4 (23%)	6 (75%)	18 (33%)
尝试次数	30	17	8	55

3.3 缩放任务结果

当要求放大时，大多数参与者首先尝试类似智能手机捏合缩放的手指捏合手势（33%）或类似在水中游泳的手臂动作（33%）。其他尝试包括将节点拉向自己或使用双手进行捏合动作。

对于缩小任务，参与者往往不太积极地寻找缩小手势，可能是因为之前未能找到合适的放大手势。通常，他们尝试与放大时相反的手势，如将网络推开而不是拉近。

放大任务各次尝试中最流行手势的分布如下：

最流行手势	第一次尝试	第二次尝试	第三次尝试	总体
手指捏合（内）	10 (33%)	6 (23%)	1 (5.3%)	17 (23%)
游泳动作	10 (33%)	1 (4%)	1 (5.3%)	12 (16%)
双手拉	4 (13%)	7 (27%)	2 (10.5%)	13 (17%)
双手捏合	1 (3%)	4 (15%)	2 (10.5%)	7 (9%)
其他	5 (17%)	8 (31%)	13 (68%)	26 (35%)
尝试次数	30	26	19	75

缩小任务各次尝试中最流行手势的分布如下：

最流行手势	第一次尝试	第二次尝试	第三次尝试	总体
手指捏合（外）	7 (26%)	6 (27%)	1 (13%)	14 (25%)
反向游泳动作	5 (19%)	1 (5%)	1 (13%)	7 (12%)
双手推	8 (30%)	1 (5%)	3 (38%)	12 (21%)
双手捏合（外）	3 (11%)	3 (14%)	0	6 (10%)
其他	4 (15%)	11 (50%)	3 (38%)	18 (32%)
尝试次数	27	22	8	57

以下是实验流程的mermaid流程图：

graph LR
    A[收集参与者信息] --> B[熟悉环境任务]
    B --> C[按需查看详细信息任务]
    B --> D[放大任务]
    B --> E[缩小任务]
    C --> F[结果分析]
    D --> F
    E --> F

通过以上实验和分析，我们对VR信息可视化中直观手势的使用有了更深入的了解。在下半部分，我们将进一步探讨这些发现的意义、存在的问题以及未来的研究方向。

探索VR信息可视化中的直观手势交互

4. 讨论

本次实验表明，在VISM任务中，如放大、缩小和按需查看详细信息，存在一些可以引入的直观手势。不过，要全面验证最初的论点，还需在后续实验中测试其余的VISM任务。特别是一些支持性任务，可能难以转化为手势，因为它们需要更灵活、细致的交互方式。

尽管基于30名参与者的样本得出的结果不具有代表性，但实验揭示了一些有趣的趋势。某些手势比其他手势更受参与者欢迎，也更具直观性。例如，用食指点击节点以获取详细信息这一动作，对大多数参与者来说似乎是直观明了的。

以下是一些常见手势的分析：
- “游泳”动作 ：许多参与者在放大时使用类似游泳的手臂动作，仿佛要直接“潜入”数据中。这种非常自然的身体动作体现了人们对数据交互的直观理解。
- 手指捏合手势 ：智能手机上广泛使用的捏合缩放手势，在本次实验中也被很多参与者尝试用于VR中的缩放操作。这表明抽象的手势习惯会对人们在VR环境中的直观行为产生重大影响。
- 点击中心节点获取菜单概览 ：令人意外的是，部分参与者认为点击中心节点可以访问菜单概览，这与每个节点代表一个独立数据点的概念相矛盾，且在触摸屏或桌面环境中也未发现类似功能。

此外，参与者的直觉还受到传统计算机桌面和智能手机使用经验的影响。同时，科幻电影也可能对他们产生了作用，不少参与者表示感觉自己仿佛置身于《少数派报告》的场景中。

需要注意的是，最直观的手势并不总是从人体工程学和技术角度来看是最佳的。例如，用“游泳”动作频繁缩放数据可能会让人感到身体疲劳。而且，一些直观手势可能难以被传感器准确检测，或者导致操作精度较低。

5. 结论与未来研究方向

如今，企业的成功依赖于对数据的理解和处理。VR信息可视化技术有助于数据的分析和消化，而将其与无接触手部手势控制相结合，有望创造出真正沉浸式的信息可视化体验。通过本次实验，我们确定了一组参与者在VISM框架下执行特定任务时使用的手势。

未来的研究应致力于更好地理解手势控制对沉浸式信息可视化的影响，尤其是在比本次实验数据密度更高的可视化场景中。重复本次实验时，不仅要增加样本量，还要涵盖更广泛的任务，包括其余的VISM任务，并研究其他现有的VR数据可视化应用。此外，探究不同代际、国籍或社会文化背景之间的差异也很有意义。

尽管将直觉融入手势交互设计有明显的好处，但还需要考虑更多参数。只有充分理解直觉、技术限制和人体工程学后果之间的相互作用，才能制定出可持续的手势标准。

无接触手部手势控制在VR沉浸式信息可视化领域仍处于起步阶段，但很有可能让用户“忘记自己在使用计算机，只专注于正在完成的重要工作”。因此，这些手势可能是交互式信息可视化未来的一部分。

以下是未来研究方向的列表：
1. 研究手势控制对更高密度数据可视化的影响。
2. 增加样本量并涵盖更广泛的任务，重复本次实验。
3. 研究其他VR数据可视化应用。
4. 探究不同代际、国籍或社会文化背景的差异。
5. 制定可持续的手势标准。

为了更清晰地展示未来研究的步骤，以下是一个mermaid流程图：

graph LR
    A[研究高数据密度可视化] --> B[重复实验扩大样本和任务]
    B --> C[研究其他VR应用]
    C --> D[探究背景差异]
    D --> E[制定手势标准]

通过对VR信息可视化中直观手势的研究，我们为这一新兴领域的发展提供了有价值的见解。随着技术的不断进步和研究的深入，相信无接触手部手势控制将在VR信息可视化中发挥越来越重要的作用。