49、神经自适应技术研究进展

神经自适应技术研究进展

1. BioPhyS自适应系统与PID控制器

BioPhyS自适应系统通过比较学员的心率（HR）响应与目标或设定点HR，来驱动模拟任务的属性，如目标速度或降雨强度，进而影响学员的心率。研究人员对比例 - 积分 - 微分（PID）控制器元件在提高BioPhyS闭环系统准确性和稳定性方面的有效性进行了研究。
- PID控制器原理 ：在BL引擎中实现的PID控制器集成到BioPhyS模拟器中，用于实时自适应调整。它能够在BioPhyS模拟器中创建精细的自适应调整，影响用户在射击时达到最佳生理响应。

2. 生理测量在监测操作员二元组中的应用

神经工效学这一新兴领域利用生理测量方法，通过眼、心和脑的测量数据，评估操作员在工作环境中的压力、精神疲劳和注意力参与状态。目前，相关研究多集中于单个操作员，而对于同一工作环境中两个或多个操作员，甚至他们之间相互作用的生理测量研究较少。
- 研究目的 ：尝试表征各种精神状态，包括合作与非合作状态，特别是在航空等危险任务领域。
- 实验内容
- 实验一 ：评估在修改版多属性任务电池（MATB）执行过程中的合作情况。
- 实验二 ：研究飞行员与其地面操作员之间的合作。
- 研究重点 ：关注大脑测量及其分类，以估计工作量和合作水平，开发能够考虑这些状态的神经自适应系统，提高工作安全性和绩效。

3. 驾驶模拟中涉及风险决策的人为因素自动分类

研究人员致力于对汽车环境中涉及风险决策的人为因素进行分类。通过结合心理生理和遥测数据，创建“涉及风险决策”的多模态分类模型，并使用机器学习方法自动分类这些决策。
- 研究阶段与应用
- 第一阶段 ：确认分类模型是否能从汽车领域完全或部分转移到航空航天领域。
- 航空航天应用 ：在模拟直升机飞行中对涉及风险的决策进行分类，将可转移元素应用于实时飞行场景创建，将分类输出集成到飞行后汇报过程中，帮助教练更好地培训飞行员，还可用于实时飞行操作中调整自动化策略。
- 实验任务
- 心理测试 ：包括n - 回溯任务以诱导认知负荷变化，气球模拟风险任务（BART）和爱荷华赌博任务（IGT）以诱导涉及风险的决策。每个任务持续10分钟，包括恢复基线期，总时长40分钟。
- 模拟驾驶 ：使用高保真赛车模拟游戏Project Cars 2，完成赛道圈数，引入与性能挂钩的经济激励，并在额外的5圈中调整任务难度以鼓励冒险决策。
- 数据收集
- 参与者 ：从HEC商学院学生中招募，筛选标准为身体健康、视力正常或矫正后正常且持有有效驾驶执照。
- 设备与测量 ：使用64电极脑电图（EEG）以512 Hz测量脑电波活动，使用智能眼动仪以60 Hz捕获注视和瞳孔测量数据，使用软件遥测模块以60 Hz捕获173项车辆活动测量数据。

4. 基于时间扭曲距离的神经自适应技术探索

研究人员开发了BrainEx工具，用于对大脑数据进行相似性探索，为神经自适应技术奠定基础。
- 研究背景 ：在神经自适应技术中，对时域数据进行分类是核心问题，需要处理大量时间序列数据集以了解大脑活动和模式。弹性或扭曲距离可用于计算不同长度和时间错位序列之间的相似性，但由于其二次复杂性和缺乏三角不等式，在处理大数据集时不实用。
- BrainEx工具 ：这是一个多功能的多扭曲距离驱动的相似性探索工具，通过“处理一个 - 查询多个”范式，基于简单易计算的点距离（如欧几里得、曼哈顿和切比雪夫距离）减少挖掘空间，然后使用特定的扭曲对应距离对预处理后的数据集进行高效探索。
- 实验任务
- 实验一 ：使用n - 回溯实验范式，让23名受试者在模拟驾驶中执行2 - 回溯任务，目标是找出2 - 回溯（高工作量）时期与仅驾驶时期的大脑数据模式差异。
- 实验二 ：使用持续注意力响应任务（SART）范式，让9名受试者参与，根据他们对刺激的“正确”和“错误”响应标记数据，可能与认知控制和走神状态相关。两个实验均在受试者前额叶皮质应用功能性近红外光谱（fNIRS）传感器。
- 分析与结果 ：使用BrainEx查询实验中收集的大脑数据样本的最相似子序列，探索不同相似性阈值、预处理方法和相似性度量对算法的影响，以实现大脑数据相似序列的预处理和自动检测。

5. 虚拟现实游戏中流动体验的注意力控制

流动体验通常被定义为玩视频游戏时的主观最佳体验，其特点是高度集中注意力。当游戏挑战与玩家技能不匹配时，可能会出现无聊或焦虑这两种极端状态。
- 研究方法
- 游戏开发 ：开发了用于虚拟现实的塔防游戏，设计了引发流动、焦虑和无聊状态的试验。
- 数据收集 ：从28名参与者在30次试验中获取眼电图（EOG）数据，每次试验分为三个时期。
- 分类算法 ：使用C - 支持向量机（SVM）、k - 最近邻（kNN）和CART决策树（CART DT）三种分类算法，基于从EOG数据中提取的六个特征进行训练。
- 实验结果
- 分类准确性 ：经过10折交叉验证，三种分类器能够以较高的平均准确率（SVM为86.5%，kNN为89.3%，CART DT为90.5%）区分低流动和高流动组。
- 眨眼特征 ：高流动组的眨眼间隔更长，每分钟眨眼次数更少，表明注意力控制增强。
- 结果讨论 ：研究结果证实了流动体验期间眨眼率的相关发现，但不能仅基于视觉负荷来解释，可能反映了游戏中的精神负荷差异。此外，眨眼率与多巴胺能系统有关，可能携带情感价信息。该方法具有生物反馈潜力，可用于调整游戏的不同方面，维持玩家的注意力和乐趣。

以下是相关研究的总结表格：
|研究内容|研究方法|研究结果|应用领域|
| ---- | ---- | ---- | ---- |
|BioPhyS自适应系统与PID控制器|比较学员心率与目标心率，驱动模拟任务属性，研究PID控制器有效性|提高BioPhyS闭环系统准确性和稳定性|模拟训练|
|生理测量在监测操作员二元组中的应用|进行修改版MATB任务和飞行员 - 地面操作员合作实验，关注大脑测量|为开发神经自适应系统提供依据|航空领域|
|驾驶模拟中涉及风险决策的人为因素自动分类|结合心理生理和遥测数据，创建多模态分类模型，使用机器学习方法|实现涉及风险决策的自动分类|汽车和航空航天|
|基于时间扭曲距离的神经自适应技术探索|开发BrainEx工具，进行n - 回溯和SART实验|可用于大脑数据相似序列的预处理和自动检测|神经自适应技术|
|虚拟现实游戏中流动体验的注意力控制|开发塔防游戏，获取EOG数据，使用三种分类算法|区分低流动和高流动组，发现眨眼特征与注意力控制的关系|虚拟现实游戏|

下面是一个简单的mermaid流程图，展示驾驶模拟中涉及风险决策的人为因素自动分类的实验流程：

graph LR
    A[参与者筛选] --> B[心理测试]
    B --> C[模拟驾驶]
    C --> D[数据收集]
    D --> E[创建分类模型]
    E --> F[机器学习分类]

神经自适应技术研究进展

6. 各研究的技术细节分析

• BioPhyS自适应系统与PID控制器
  • 技术核心 ：其核心在于利用心率差来驱动模拟任务属性，形成一个闭环系统。PID控制器起到了调节和优化这个闭环系统的作用。具体操作上，首先需要准确测量学员的心率响应，将其与目标心率进行对比，得到心率差值。然后根据这个差值，调整模拟任务的属性，如目标速度或降雨强度。PID控制器会根据系统的误差、误差积分和误差微分来动态调整控制参数，以实现系统的准确和稳定。
  • 优势与挑战 ：优势在于能够根据学员的生理状态实时调整模拟任务，提高训练的针对性和效果。挑战在于如何准确测量心率，以及如何确定合适的模拟任务属性调整策略，以确保不会给学员带来过大的压力或干扰。
• 生理测量在监测操作员二元组中的应用
  • 测量指标选择 ：选择眼、心和脑的测量数据是因为这些指标能够反映操作员的多种精神状态。例如，眼动数据可以反映注意力的集中程度，心率数据可以反映压力和疲劳状态，脑电数据可以更深入地了解大脑的活动模式。
  • 实验设计难点 ：实验设计的难点在于如何准确模拟航空等危险任务的工作环境，以及如何确保实验结果能够真实反映操作员在实际工作中的状态。此外，对于多个操作员之间的相互作用的测量和分析也是一个挑战。
• 驾驶模拟中涉及风险决策的人为因素自动分类
  • 数据融合方法 ：将心理生理数据和遥测数据进行融合是创建多模态分类模型的关键。具体操作是将不同来源的数据进行预处理，如去除噪声、归一化等，然后将它们组合在一起，形成一个综合的数据集。接着使用机器学习算法对这个数据集进行训练，以学习不同类型决策的特征模式。
  • 模型迁移问题 ：将分类模型从汽车领域迁移到航空航天领域时，需要考虑两个领域的差异，如驾驶环境、任务要求等。可能需要对模型进行调整和优化，以确保其在新领域中的有效性。
• 基于时间扭曲距离的神经自适应技术探索
  • BrainEx工具原理 ：BrainEx工具利用“处理一个 - 查询多个”范式，通过简单的点距离减少挖掘空间，然后使用特定的扭曲对应距离进行高效探索。具体来说，它首先计算每个数据点与查询点的点距离，筛选出距离较近的数据点，形成一个较小的数据集。然后在这个小数据集中使用扭曲距离进行更精确的相似性搜索。
  • 实验数据处理 ：在实验中，对fNIRS数据进行处理时，需要考虑数据的噪声、基线漂移等问题。可以采用滤波、去趋势等方法对数据进行预处理，以提高数据的质量。
• 虚拟现实游戏中流动体验的注意力控制
  • 分类算法选择 ：选择C - 支持向量机（SVM）、k - 最近邻（kNN）和CART决策树（CART DT）三种分类算法是因为它们在处理不同类型的数据和问题时具有不同的优势。SVM适用于处理高维数据，kNN简单易懂且具有较好的泛化能力，CART DT可以生成易于解释的决策规则。
  • 特征提取与选择 ：从EOG数据中提取六个特征，并结合人格特征进行处理，是为了更全面地反映玩家的精神状态。在特征选择时，需要考虑特征的相关性和重要性，以确保分类的准确性。

7. 神经自适应技术的发展趋势

• 多模态数据融合 ：未来的神经自适应技术将越来越多地融合多种生理和行为数据，如眼动、心率、脑电、面部表情等，以更全面、准确地了解用户的状态。
• 个性化定制 ：根据用户的个体差异，如年龄、性别、人格特征等，提供个性化的自适应服务。例如，在游戏中根据玩家的技能水平和偏好调整游戏难度，在训练中根据学员的学习能力和特点制定个性化的训练计划。
• 跨领域应用拓展 ：神经自适应技术将不仅仅局限于模拟训练、航空航天和游戏等领域，还将拓展到医疗、教育、交通等更多领域。例如，在医疗领域，可用于监测患者的精神状态和康复情况；在教育领域，可用于优化教学方法和提高学习效果。

8. 总结与展望

神经自适应技术在多个领域展现出了巨大的潜力和应用价值。通过对BioPhyS自适应系统、生理测量、人为因素分类、时间扭曲距离探索和虚拟现实游戏中的注意力控制等方面的研究，我们对如何利用生理数据来实现系统的自适应调整有了更深入的了解。

然而，目前该领域仍面临一些挑战，如数据的准确性和可靠性、模型的泛化能力、系统的实时性等。未来的研究需要进一步解决这些问题，推动神经自适应技术的发展和应用。

以下是一个mermaid流程图，展示神经自适应技术的发展趋势：

graph LR
    A[多模态数据融合] --> B[个性化定制]
    B --> C[跨领域应用拓展]
    A --> C

同时，为了更清晰地展示各研究的技术细节和发展趋势，我们可以总结如下表格：
|研究内容|技术细节|发展趋势|
| ---- | ---- | ---- |
|BioPhyS自适应系统与PID控制器|利用心率差驱动模拟任务，PID调节闭环系统|多模态数据融合，提高系统准确性和稳定性|
|生理测量在监测操作员二元组中的应用|选择眼、心、脑测量指标，设计实验模拟工作环境|个性化定制，适用于不同操作员组合|
|驾驶模拟中涉及风险决策的人为因素自动分类|融合心理生理和遥测数据，机器学习分类|跨领域应用拓展，应用于更多交通场景|
|基于时间扭曲距离的神经自适应技术探索|BrainEx工具处理数据，实验数据预处理|多模态数据融合，提高大脑数据分析能力|
|虚拟现实游戏中流动体验的注意力控制|选择多种分类算法，提取EOG特征|个性化定制，根据玩家状态调整游戏|

随着技术的不断进步和研究的深入，我们有理由相信神经自适应技术将为人们的生活和工作带来更多的便利和创新。