28、开发基于增强现实的交互式学习系统

开发基于增强现实的交互式学习系统

1. 系统设计与开发

为测试工程教育交互式学习解决方案的可用性和学习效果，我们采用了准实验干预设计。具体步骤如下：
1. 讲座设计与场景搭建
- 依据一位有着十余年工程教育教学经验的教授所编的教学材料，设计了两个关于人机工程学的讲座。
- 利用Unity构建了十五个3D场景来呈现这两个讲座，其中第一个讲座包含七个场景，第二个讲座包含八个场景。
- 为营造沉浸式学习体验，在每个场景中放置了一个由五个相连小面板组成的大半圆形黑板。用户站在场景中心向前看时，能轻松舒适地查看和与用于讲座的虚拟空间进行交互。这五个面板分别显示图形、人类头像、公式计算、问题陈述和图表。
2. 模型与动画制作
- 对于复杂的3D模型和动画，使用Autodesk 3ds Max创建并导出为Filmbox (FBX)文件，然后导入到Unity游戏引擎中。
- 创建了一个3D动画虚拟讲师来引导用户在学习过程中的视线，模拟现实中教授在课堂上的情景。
- 使用Murf AI生成虚拟讲师自然的语音，利用Xsens动作捕捉系统创建逼真的角色动作，模拟教授在课堂上的身体动作。最后，将虚拟讲师的动画、语音和讲座内容的面板显示进行同步，以提供连贯且易于跟随的虚拟讲座。
3. 硬件与数据收集
- 使用Microsoft HoloLens 2作为AR环境的投影设备，借助Microsoft Mixed Reality Toolkit 3 (MRTK3) 进行输入系统和空间交互及UI构建。
- 利用MRTK的眼动数据提供者