6、增强现实用户体验：基于人工智能的数据收集、处理与分析

增强现实用户体验：基于人工智能的数据收集、处理与分析

1. 引言

增强现实（AR）技术为严肃游戏、旅游和博物馆应用、食品识别应用等软件带来了新的维度。为确保基于AR的软件质量，需要对用户体验进行监测。在AR游戏学习环境中，用户反馈可通过多模态学习分析（MMLA）来提供，近年来，MMLA借助传感器和数据挖掘技术的融合逐渐兴起。

收集MMLA数据可使用多种设备、工具和技术，以补充数字教育应用中的原始教育数据。例如，可用相机，其图像流由AI算法在线分析，提供学习者的身体或面部语言信息；还可使用生物传感器测量血压、心率、呼吸节奏，以及神经设备报告大脑内的不同信号。此外，学习者手中的手机和智能手表也是重要的数据收集工具，它们具有大规模、低成本的优势。

MMLA数据的处理可基于人工智能方法。AI可用于向学习者提供实时反馈、聚合学习者行为信息、在学习后提供总结性知识以指导学习、更新数字学习者模型，并向AR系统开发者提供反馈，还能预测和分类学习情况及学习者行为。

2. 相关工作

近年来，教育领域对AI和数字孪生等创新方法的应用给予了特别关注：
- Cowling和Birt对混合现实多模态学习分析的常见方法进行了概述。
- Ochoa和Worsley分析了在非技术中心的学习环境中如何使用音频和视频收集学习者的行动和交互数据，并讨论了多模态学习分析的多种变体。
- Di Mitri等人对多模态数据用于多模态学习分析的实验进行了文献调查，分析了输入多模态数据和相关学习理论，并制定了多模态学习分析模型，目标包括增强学习反馈、结合机器学习算法与多模态数据、统一机器学习和学习科学术语。
- Marcel对移动AR平台HP R