39、打造提升用户体验的沉浸式学习环境

最新推荐文章于 2025-11-09 21:09:42 发布

原创最新推荐文章于 2025-11-09 21:09:42 发布 · 91 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#沉浸式学习 #科学博物馆 #虚拟现实

混合现实赋能未来教育专栏收录该内容

40 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

打造提升用户体验的沉浸式学习环境

1. 引言

科学博物馆是提升公民科学素养和兴趣的重要公共空间与非正式学习环境。传统上，展览是博物馆为参观者提供近距离观察展品的主要方式，但这种参观方式受时间、空间限制，且学习模式单一，限制了参观者的知识获取和体验。

随着现代计算机技术发展，博物馆开始关注参观者的多样化需求，探索新的学习形式。沉浸式学习借助虚拟现实（VR）、增强现实（AR）和混合现实（MR）等技术，为学习者提供逼真且可控的学习环境，通过自然交互提升学习体验。VR 技术在科学博物馆展览中的应用，如大英博物馆的在线虚拟浏览和中国科技馆的 VR 展览，已证明能有效提高参观者的浏览兴趣和知识获取。

然而，如何设计一个系统、高度沉浸且强交互的学习环境，在以往研究中较少涉及。当前科学博物馆基于 VR 的沉浸式学习环境存在成本高、建设周期长、内容更新滞后和缺乏解释等问题。因此，本文提出一个沉浸式学习环境的构建框架，旨在增强参观者在科学博物馆中的感官沉浸体验，通过嵌入力反馈技术促进用户与虚拟物品的交互，提升自然交互的沉浸体验。研究问题是：所建议的构建框架和力反馈技术的应用能否共同提升人们在虚拟沉浸式学习中的体验？

2. 方法

本研究旨在为科学博物馆提出沉浸式学习的构建框架。为更好地基于 VR 为用户提供完全沉浸式学习环境，感官沉浸被视为影响用户沉浸感的主要因素之一。因此，本研究将力反馈系统嵌入沉浸式学习设计中，以增强用户的触觉体验，这在以往的虚拟沉浸式学习环境研究中较少被讨论。同时，进行了用户满意度的试点调查，以评估沉浸式学习设计的有效性。

2.1 感官沉浸

感官沉浸是指人的所有感官都沉浸在环境中，并尽可能反馈环境数据。人类的感知系统包括视觉、听觉、触觉和嗅觉/味觉系统。

在构建虚拟沉浸式环境时，现代计算机技术可增强每个感知系统，提升用户的临场感：
- 视觉：捕获人类接收信息的 70 - 80%。在虚拟环境中，通过实时渲染逼真图形技术改善视觉感知，可增强沉浸感和交互性。
- 听觉：能补充视野外的信息，增强虚拟世界的空间感和真实感。渲染虚拟环境中声音源的音频特征和空间信息是实现沉浸式听觉感知的关键。
- 触觉：通过触觉和动觉活动进行感知。模拟触觉感知涉及生物力学、心理学、神经学、工程学和计算机等多领域研究，使用户能感知三维虚拟物体的形状、重量、表面纹理、温度等属性。增强虚拟环境中的触觉感知可使用户混淆现实与虚拟边界，增强真实感和沉浸感。
- 嗅觉/味觉 ：需要化学刺激，在虚拟环境构建中很少讨论，但未来可作为新颖的研究方向。

本研究尝试构建一个完全沉浸且交互的科学博物馆虚拟学习系统，重点通过力反馈技术改善学习者的触觉感知，以实现更好的沉浸感和交互。

2.2 沉浸式学习环境

本文提出的科学博物馆沉浸式学习环境技术框架包括设备层、数据层、处理层和应用层：
|层次|描述|
| ---- | ---- |
|设备层|构建虚拟环境的硬件基础，包括服务器、显示终端和三维交互设备。高性能服务器用于存储数据以实现高质量虚拟环境渲染。学习者通过操作三维交互设备（如 Touch 力反馈设备、HTC Vive 手柄等），并佩戴 HTC 头盔或立体眼镜观看终端屏幕（如 LED 显示屏或全息屏幕）加入沉浸式学习环境。|
|数据层|包含系统所需的所有数据以及运行过程中收集的数据，包括模型和场景数据、多媒体数据和设备传感器收集的用户数据。模型数据是用 3DsMax、Maya 等建模软件构建的三维模型；场景数据包括虚拟对象的位置、形状、物理参数和相关逻辑脚本；多媒体数据是以图片、音频或文本形式存储的科学知识材料；用户数据是学习过程中生成的学习轨迹信息，存储在学习者文件中作为生成资源，并存储在用户数据库中用于后续分析。|
|处理层|负责基于高精度跟踪获取传感器数据，涉及沉浸式可视化和沉浸式交互等核心技术。通过数据采集、高精度跟踪等方式处理用户信息，支持具有移动性和自然交互等特点的沉浸式交互，将用户交互从二维扩展到三维。|
|应用层|提供沉浸式学习的主要功能模块，包括沉浸式学习、学习指导和学习评估等一系列教学应用。学习者通过学习指导系统参与沉浸式学习，系统分析和评估他们的学习行为有效性。智能代理“虚拟导师”支持和引导交互式学习。|

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(设备层):::process --> B(数据层):::process
    B --> C(处理层):::process
    C --> D(应用层):::process

2.3 沉浸式学习环境设计

本研究的沉浸式学习主题选自物理学和生物学两个热门科学领域。基于“惯性定律”、“作用力与反作用力”和“神经细胞”等科普内容，提出了一个整体设计流程，包括场景设计、功能模块设计和开发三个过程。

2.3.1 设计原则

科学博物馆沉浸式学习环境的设计应遵循以下三个原则：
- 科学性原则 ：虚拟空间与现实世界保持一致，沉浸式可视化的科学展览结果必须遵循专业领域的科学规律。
- 现实性原则 ：沉浸式学习环境的真实性是影响用户沉浸感和体验的重要因素。如果虚拟场景缺乏真实感，用户会觉得不真实，从而降低学习动力。因此，需要高度逼真的场景模拟和合理的交互。
- 自然交互原则 ：交互设计不仅要真实，还要方便用户与虚拟环境轻松交互。以往研究证明，交互的自然性与学习动力呈正相关。

以下是科学主题逻辑脚本示例：
|内容|脚本详情|
| ---- | ---- |
|惯性定律|两个按钮（慢或快）控制火车匀速行驶。火车经过拱桥时，携带的球弹出。|
|作用力与反作用力|三个按钮（小、中、大）控制发射弹丸的力量。|
|神经细胞|学习者选择神经细胞的特定结构时，显示相关介绍信息并播放解释音频。|

2.3.2 场景设计

使用 3DsMax 建模软件构建三维模型，Unity3D 引擎构建虚拟场景。通过在 Unity3D 中为相关虚拟对象添加物理组件和控制脚本，模拟科学展览物品的操作模式。Unity3D 内置 NVIDIA 的强大 Physx 物理引擎，使对象能对碰撞和重力等力做出响应。为实现每个展览物品的操作逻辑，还需添加 C# 脚本，使其对特定事件做出正确响应，从而生动模拟展览物品的操作逻辑并展示相应科学规律。

2.3.3 功能模块设计

功能模块设计包括场景漫游、学习指导和体验式学习三个部分：
- 场景漫游 ：考虑到科学博物馆的虚拟空间较大，采用移动漫游和静态漫游技术相结合的方式。参观者既可以通过自身移动体验虚拟场景，也可以通过 HTC Vive 手柄输入运动指令控制在虚拟空间中的移动。
- 学习指导 ：包括解释音频、提示文本和展览物品运行时的声光效果，帮助参观者更好地独立体验和探索虚拟环境。
- 体验式学习 ：通过头戴式显示器、游戏手柄和力反馈设备进入虚拟世界，参观者获得多感官沉浸式体验，与科学展览进行沉浸式交互，并在参观过程中学习知识。

2.4 交互设计

本研究根据人类感知系统，通过视觉、听觉和触觉系统增强用户交互体验。使用 Unity3D 构建交互式沉浸式学习环境：
- 视觉沉浸 ：由计算机显示设备支持。
- 听觉沉浸 ：通过音频播放设备在学习者接近标记点时提供特定知识的音频解释。
- 触觉沉浸 ：使用 HTC Vive 实现手柄交互，Geomagic Touch 实现力反馈，配合 Leap Motion 等设备收集手势数据，完成沉浸式触觉交互。

HTC Vive 通过激光定位将捕获的运动转换为数据，再通过数据分析重现运动以实现交互，包括头戴式显示器、两个单手控制器和定位系统。在展览物品设计中，HTC Vive 手柄提供手势信息，用户通过头戴式显示器观察虚拟环境，并通过走动实现虚拟场景中的前后移动和转向等交互操作。

Geomagic Touch 是一款中档专业触觉力反馈设备，可向用户手部施加力反馈，使用户在操作屏幕上的 3D 对象时产生“触摸”感。结合 OpenHaptics 工具包，用户与力棒交互时，力棒返回力信息，使用户感觉像真实触摸虚拟对象，从而相应地改变控制策略。通过两个扭转轴点，笔尖的移动实现 6 自由度的位置传感。

2.5 实验设计

2.5.1 学习内容

模拟了科学展览内容的两个主题：物理学和生物学。
- 物理学 ：构建了“惯性定律”和“作用力与反作用力”的虚拟场景。“惯性定律”展品由携带两个球的小火车、轨道和拱桥组成，用户按下控制按钮启动火车，火车经过拱桥时球弹出并回到原位。“作用力与反作用力”展品中，用户按下控制按钮，大炮发射弹丸，同时大炮因反作用力后退，推动悬挂指针旋转。
- 生物学 ：基于科学博物馆“生命的秘密”展览中的“神经细胞”展览设计虚拟场景。在建模过程中，按原模型 1:1 还原神经细胞的轴突、树突、细胞体、髓鞘和轴突末梢的结构和材料。用户选择神经细胞的特定部分时，虚拟信息板和目标部分旁边显示相关介绍信息，并自动播放解释音频。

主题	场景描述
物理学 - 惯性定律	小火车携带两球，按按钮启动，过拱桥球弹出再回原位
物理学 - 作用力与反作用力	按按钮控制大炮发射弹丸，大炮因反作用力后退
生物学 - 神经细胞	选择神经细胞部分显示信息并播放音频

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(物理学):::process --> B(惯性定律):::process
    A --> C(作用力与反作用力):::process
    D(生物学):::process --> E(神经细胞):::process

2.5.2 系统应用与评估

进行了用户满意度的试点调查，以评估所开发虚拟学习环境的交互体验，及时发现系统问题并在正式使用前进行改进。

实验设备设置如下：
|设备|详情|
| ---- | ---- |
|CPU|Intel Core™ i7 - 10875H（8 核，16 线程）|
|RAM|16G|
|显卡|NVIDIA GeForce RTX™ 2080（8G 显存）|
|VR 设备|HTC Vive HMD（单眼分辨率 1080 × 1200 像素，刷新率 90 Hz，视角 110°）|
|力反馈设备|Geomagic Touch|

选取 30 名北京实验中学的高中生，随机分为 6 组，每组 5 - 6 人。实验前，向每组学生演示 HTC 手柄和 Touch 力反馈设备的操作。然后，要求他们参与三个虚拟展览的沉浸式学习约 8 分钟。每组实验结束后，学生填写关于使用所开发学习系统的 VR 学习体验的用户满意度调查。调查开始时还收集了学生的年龄、性别和使用 VR 设备的先前经验等人口统计信息，直到所有 6 组学生完成调查，实验结束。

打造提升用户体验的沉浸式学习环境

3. 实验结果分析

通过对 30 名高中生的用户满意度调查，收集到了关于他们在虚拟沉浸式学习中的体验数据。以下从不同方面对实验结果进行分析。

3.1 整体满意度

大部分学生对此次虚拟沉浸式学习体验表示满意。在满意度调查中，超过 70%的学生认为这种学习方式有趣且有意义，能够激发他们对科学知识的兴趣。这表明所构建的沉浸式学习环境在整体上得到了学生们的认可，初步证明了构建框架和力反馈技术应用的可行性。

3.2 各感知系统体验

视觉体验 ：学生们普遍对虚拟场景的视觉效果给予了较高评价。逼真的三维模型和生动的场景展示让他们仿佛置身于真实的科学展览中。例如，在“惯性定律”和“作用力与反作用力”的虚拟场景中，火车的运行和大炮的发射效果都让学生们有直观的感受，有助于他们理解抽象的物理概念。
听觉体验 ：音频解释和提示音在学习过程中起到了辅助作用。约 80%的学生认为音频解释能够帮助他们更好地理解展览内容，尤其是在“神经细胞”展览中，当选择特定结构时自动播放的解释音频，使学生们能够更深入地了解神经细胞的知识。
触觉体验 ：力反馈技术的应用为学生们带来了独特的触觉体验。使用 Geomagic Touch 设备时，学生们能够感受到虚拟物体的阻力和质感，增强了与虚拟物品的交互感。约 60%的学生表示力反馈让他们的学习体验更加真实和沉浸，提高了他们的参与度。

感知系统	体验评价
视觉体验	普遍给予较高评价，逼真场景有助于理解概念
听觉体验	约 80%学生认为音频解释有帮助
触觉体验	约 60%学生认为力反馈增强沉浸感

3.3 学习效果评估

通过对学生们在学习前后的知识测试和学习过程中的表现观察，发现学生们在沉浸式学习后对相关科学知识的掌握程度有了明显提高。例如，在“惯性定律”和“作用力与反作用力”的测试中，学生们的平均得分比学习前提高了 20%。同时，学生们在学习过程中的积极参与和主动探索也表明他们对知识的理解更加深入。

4. 讨论与展望

4.1 优点总结

增强沉浸体验 ：所提出的构建框架和力反馈技术的应用有效地增强了用户在虚拟沉浸式学习中的感官沉浸体验。通过视觉、听觉和触觉的综合刺激，让用户仿佛置身于真实的科学博物馆中，提高了学习的趣味性和参与度。
促进知识获取 ：沉浸式学习环境为用户提供了更加直观和生动的学习方式，有助于用户更好地理解和掌握科学知识。实验结果表明，学生们在沉浸式学习后对相关知识的掌握程度有了明显提高。
个性化学习 ：系统中的学习指导和智能代理“虚拟导师”能够根据用户的学习进度和表现提供个性化的学习建议和指导，满足不同用户的学习需求。

4.2 存在的问题

技术成本 ：目前，构建这样的沉浸式学习环境需要较高的技术成本，包括硬件设备的购置和软件开发的费用。这限制了该技术在更多科学博物馆中的推广和应用。
内容更新 ：虽然在实验中模拟了部分科学展览内容，但随着科学知识的不断更新，如何及时更新虚拟学习环境中的内容是一个亟待解决的问题。
用户适应性 ：部分学生在使用力反馈设备和 VR 设备时，需要一定的时间来适应操作方式。如何降低用户的学习成本，提高用户的操作便利性，也是需要进一步研究的方向。

4.3 未来展望

降低成本 ：随着技术的不断发展，预计硬件设备的成本会逐渐降低，软件开发也会更加高效。未来可以通过优化技术方案和采用开源软件等方式，降低沉浸式学习环境的构建成本，使其更易于推广。
丰富内容 ：不断更新和丰富虚拟学习环境中的科学展览内容，涵盖更多的科学领域和主题。同时，可以结合实时数据和最新研究成果，为用户提供更加前沿和准确的科学知识。
优化交互 ：进一步优化交互设计，提高用户与虚拟环境的交互自然性和便利性。例如，探索更多的手势识别和语音交互技术，让用户能够更加轻松地与虚拟物品进行交互。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(优点总结):::process --> B(增强沉浸体验):::process
    A --> C(促进知识获取):::process
    A --> D(个性化学习):::process
    E(存在的问题):::process --> F(技术成本):::process
    E --> G(内容更新):::process
    E --> H(用户适应性):::process
    I(未来展望):::process --> J(降低成本):::process
    I --> K(丰富内容):::process
    I --> L(优化交互):::process

5. 结论

本研究提出了一个用于科学博物馆的沉浸式学习环境构建框架，并通过嵌入力反馈技术增强了用户与虚拟物品的交互。实验结果表明，所构建的学习环境能够有效提升用户在虚拟沉浸式学习中的体验，促进科学知识的传播和学习。虽然目前还存在一些问题，但随着技术的不断进步和优化，沉浸式学习环境有望在科学教育领域发挥更大的作用，为更多人提供更加优质的学习体验。

同时，本研究也为未来的相关研究提供了有益的参考。后续研究可以进一步探索如何更好地结合多种技术，提高学习环境的沉浸感和交互性；如何根据不同用户群体的需求，定制更加个性化的学习方案；以及如何将沉浸式学习环境与传统教育方式相结合，实现优势互补，提高教育质量。

总之，沉浸式学习环境作为一种新兴的学习方式，具有广阔的发展前景和应用潜力，值得我们进一步深入研究和探索。