28、设计思维与虚拟现实中的情感认知及手势交互研究

设计思维与虚拟现实中的情感认知及手势交互研究

非虚拟现实条件下情感 - 认知交互原则的运作

在非虚拟现实条件下，接收非虚拟现实参考资料的受访者（R2、R4）在设计跳伞俱乐部标志时展现出了丰富的创意探索。他们围绕多种视觉元素进行了形式探索，具体如下表所示：
|受访者|探索元素|
| ---- | ---- |
|R2|飞机机翼、人物形象、排版、跳伞队形|
|R4|排版、潜水员姿势、云等大气元素、降落伞图像|

与虚拟现实条件下的受试者相比，非虚拟现实条件下的受访者产生的迭代方案受到多个不同方面的驱动，而非一两个核心方面。他们依靠电影中的跳伞场景记忆（R2）、跳伞视频（R4）以及视觉参考资料（截图）（R2、R4）来生成设计方案。这表明与虚拟现实组相比，情感 - 认知原则的运作方式存在明显差异。

情感 - 认知原则在非虚拟现实条件下的体现主要遵循以下几个原则：
- 归因原则 ：由于迭代方案受到受访者对其是否适合作为标志的评估影响，情感被赋予了他们自己的设计，而不是一个核心想法或主题。
- 即时性原则 ：情感由即时可获取的记忆和视觉参考资料产生。
- 情感处理原则 ：瞬间的积极情感为受访者认为最适合作为跳伞俱乐部标志的思路/迭代方案起到了“前进”信号的作用。

这在心理意象处理风格上也有所体现，包括生成（围绕跳伞的各个方面如飞机、潜水员生成图像）、维持（基于对作为标志的潜在可能性的感知进行多个设计概念的迭代）和转换（将一个设计迭代抽象/融合成标志形式）。

虚拟现实与信息可视化及手势交互相关研究

研究背景与目的

如今，能够管理和分析大数据的公司有望获得竞争优势，但许多企业在数据检查方面面临困难。虚拟现实（VR）为信息可视化带来了新的可能性，它被认为可以使数据的感知和操作更加容易。然而，VR 中的交互以及 3D 数据可视化的导航仍然是挑战，存在一些未解决的问题。同时，不仅数据的表示方式，交互方式也会影响数据的感知效果。本文通过实验观察参与者在虚拟现实信息可视化中进行信息搜索任务时直觉使用的手势，来研究这些交互。

相关领域研究

• 虚拟现实中的信息可视化
  • 数据管理、分析和理解对于商业决策至关重要，但企业在数据探索和模式发现方面常遇困难。信息可视化是一种将抽象数据以更易理解方式呈现的方法，而 VR 使信息可视化更加沉浸式，让用户能成为虚拟环境的一部分，以直观和沉浸式的方式感知和操作信息，从而改善数据探索和理解。
  • VR 已应用于科学可视化，如基因组学、医学、天文学等领域，促进了研究过程。对于信息可视化，虽然其代表的是更抽象、处理后的数据，但 VR 在科学可视化中的益处同样适用于信息可视化。多项研究表明，在 VR 中可视化抽象数据比传统 2D 可视化能改善分析过程，如减少错误和加快特定分析任务的完成速度。
• 数据的无接触交互
  • VR 探索数据的好处在于其增强的沉浸感，但用户与可视化的交互方式也会影响信息接收效果。人机交互的效率和有效性取决于所使用的输入设备，特别是无接触、手势控制的输入设备，被认为能提供更直观和自然的交互方式，从而增加沉浸感。基于熟悉动作体验的手势控制 VR 应用，让用户能像在现实中一样用手势抓取、投掷或推动 VR 中的物体，将虚拟环境和直观交互结合，为信息可视化带来新高度。然而，信息可视化研究主要集中在新的表示可能性上，在无接触导航方面，用户不仅更喜欢物理导航，而且它在理解、速度或方向感方面也优于其他虚拟导航技术。
• 视觉信息寻求准则（VISM）
  • Shneiderman 在 1996 年提出的“视觉信息寻求准则”（VISM）框架包含七个通常用于有效处理数据的任务：概述、缩放、过滤、按需查看细节、关联、历史记录、提取。“先概述，再缩放、过滤，然后按需查看细节”的原则在许多视觉设计指南和实际应用中都能找到。该框架在人机交互和数据可视化应用领域被广泛接受，并在多项研究中得到扩展和更新。
  • Stauffer 等人在 2016 年提出的 VISM 2.0 中，将初始任务分为四个主要任务（概述、缩放、过滤、按需查看细节）和三个支持任务（关联、历史记录、提取），并将缩放任务细分为放大和缩小，因为它们被认为是两个不同的认知任务。VISM 被开发新信息可视化应用或交互方法的研究人员广泛引用，包括虚拟现实环境中的信息可视化领域，但目前尚未有文献明确探讨 VISM 对无接触手势控制开发的影响。
• 研究问题提出
  • Bederson 和 Shneiderman 在 VISM 发表七年后设想，信息可视化界面应使计算机成为用户身体的延伸，让用户忘记使用计算机，只专注于完成重要工作。本文认为，直观的手势控制与 VR 相结合可以实现这种沉浸式信息可视化。虽然文献中讨论了 VR 对信息可视化理解的积极影响以及 VISM 对 VR 的影响，但 VISM 对无接触手势控制设计的影响尚未得到足够关注，直观的手部手势控制有望进一步提升信息可视化体验。

下面是一个简单的 mermaid 流程图，展示了上述研究的大致逻辑：

graph LR
    A[企业数据处理困难] --> B[VR带来信息可视化新可能]
    B --> C[VR交互及导航存在问题]
    C --> D[研究VR信息可视化手势交互]
    D --> E[信息可视化研究]
    D --> F[无接触交互研究]
    D --> G[VISM框架研究]
    E --> H[VR在多领域应用及优势]
    F --> I[手势控制增加沉浸感]
    G --> J[VISM内容及应用情况]
    J --> K[探讨VISM对手势控制影响]

实验方法与结果分析

实验方法

为了研究参与者在虚拟现实信息可视化中进行信息搜索任务时直觉使用的手势，研究团队设计了一个特定的实验。实验中，参与者被要求在一个他们事先不了解的交互式数据可视化应用程序中，针对给定的信息搜索任务提供手部手势。这些任务是基于“视觉信息寻求准则”（VISM）框架设计的，涵盖了概述、缩放、过滤、按需查看细节、关联、历史记录、提取等常见的数据处理任务。

在实验过程中，研究人员详细记录了参与者的手势操作，包括手势的类型、动作幅度、频率等信息。同时，为了确保实验的准确性和可靠性，研究团队对实验环境进行了严格控制，避免外界干扰因素对参与者的影响。

结果分析

通过对实验结果的分析，研究人员发现了一些有趣的现象。参与者在执行不同的信息搜索任务时，会直觉地使用不同的手势。以下是对部分任务及对应直觉手势的分析：
|任务类型|直觉手势描述|
| ---- | ---- |
|概述|参与者通常会张开双手，向两侧缓慢移动，仿佛在拥抱整个虚拟场景，以此来获取数据的整体概述。|
|缩放|放大时，参与者会将双手拇指和食指相对，然后缓慢向外扩张；缩小时，则相反，将双手拇指和食指相对，缓慢向内收缩。|
|过滤|部分参与者会用一只手做出筛选的动作，如用手指在虚拟界面上滑动，似乎在筛选不需要的数据。|
|按需查看细节|当需要查看特定细节时，参与者会用食指指向目标数据，就像在现实中用手指指向物体一样。|

这些直觉手势反映了参与者在虚拟环境中自然的交互方式，为设计更符合用户习惯的手势控制界面提供了重要依据。

研究结论与未来展望

研究结论

本研究综合探讨了非虚拟现实条件下情感 - 认知交互原则的运作，以及虚拟现实与信息可视化及手势交互的相关内容。在非虚拟现实条件下，情感 - 认知原则在设计过程中以独特的方式发挥作用，受访者的设计迭代受到多种因素影响，情感被赋予自身设计，遵循归因、即时性和情感处理原则，并体现在心理意象处理风格上。

在虚拟现实领域，研究表明 VR 为信息可视化带来了新的机遇，能够改善数据探索和理解，但交互和导航问题仍需解决。无接触手势控制作为一种更直观和自然的交互方式，有望提升信息可视化的沉浸感。“视觉信息寻求准则”（VISM）框架在信息可视化研究中具有重要地位，但目前对手势控制设计的影响尚未得到充分探讨。通过实验，我们发现了参与者在虚拟现实信息可视化中执行不同任务时的直觉手势，这些发现为设计更人性化的交互界面提供了有价值的参考。

未来展望

基于本研究的结果，未来可以从以下几个方面进行深入研究：
1. 手势控制界面优化 ：根据实验中发现的直觉手势，进一步优化虚拟现实信息可视化的手势控制界面，提高用户交互的效率和舒适度。例如，开发更智能的手势识别算法，能够准确识别用户的各种手势，并做出相应的响应。
2. VISM 与手势控制的深度融合 ：深入研究 VISM 框架对手势控制设计的具体影响，将 VISM 的任务与更合适的手势进行匹配，为用户提供更高效、更符合认知习惯的交互方式。
3. 扩大研究范围 ：增加样本数量和多样性，涵盖不同年龄、性别、职业的参与者，以更全面地了解不同人群在虚拟现实信息可视化中的手势使用习惯。同时，拓展研究的应用领域，如教育、医疗、娱乐等，探索手势交互在不同场景下的应用潜力。

下面是一个 mermaid 流程图，展示了未来研究的方向：

graph LR
    A[本研究结果] --> B[手势控制界面优化]
    A --> C[VISM与手势控制深度融合]
    A --> D[扩大研究范围]
    B --> E[开发智能手势识别算法]
    C --> F[匹配VISM任务与手势]
    D --> G[增加样本多样性]
    D --> H[拓展应用领域]

综上所述，本研究为设计思维、虚拟现实与信息可视化以及手势交互领域的研究提供了有价值的见解，未来的研究有望进一步推动这些领域的发展，为用户带来更优质的交互体验。