30、基于游戏学习的情感检测优化

基于游戏学习的情感检测优化

在基于游戏的学习环境中，情感检测对于了解学习者的状态和提升学习效果至关重要。传统的基于传感器的情感检测存在一些挑战，而利用交互轨迹日志数据的无传感器情感检测以及多模态机器学习技术为情感检测带来了新的思路。

1. 情感检测方法概述

• 无传感器情感检测 ：利用学习者与自适应学习环境交互产生的轨迹数据来诱导无传感器情感检测器。这种方法避免了物理传感器使用中固有的校准问题、硬件故障和误跟踪等挑战。
• 多模态情感检测 ：将无传感器（基于交互）和基于传感器的方法相结合，从多个同时的视角捕捉学生与自适应学习环境的交互。多模态情感检测在模型准确性和鲁棒性方面具有优势，但如何有效结合独立模态仍是一个重要问题。

2. 多模态数据收集

为了研究多模态情感检测，我们使用了一个包含传感器和交互日志数据的现有数据集。该数据集来自参与应急军事医疗培训游戏学习环境 TC3Sim 的学习者。
- 参与者 ：119 名美国军事学院的本科生（83% 男性，17% 女性）。
- 数据收集过程 ：
1. 参与者在 TC3Sim 中完成一系列四个训练场景，从简单的止血带应用到严重受伤角色的模拟场景。
2. 使用 GIFT 框架捕获交互轨迹日志数据。
3. 每个参与者坐在连接到 Microsoft Kinect 运动跟踪传感器的笔记本电脑前，以捕获姿势数据。
- 情感标注 ：由一对