【论文研读】基于脑电图的飞行员心理状态检测多模态方法总结

原文链接：
Multimodal Approach for Pilot Mental State Detection Based on EEG

一、文章基础信息

1. 标题：Multimodal Approach for Pilot Mental State Detection Based on EEG（基于脑电图的飞行员心理状态检测多模态方法）
2. 发表信息：发表于《Sensors》2023年第23卷第17期，DOI：10.3390/s23177350，投稿时间为2023年1月19日，修订于2023年3月8日，接受于2023年8月17日，发表于2023年8月23日，属于《脑电图信号处理技术及应用》专题。
3. 作者及单位
   • Ibrahim Alreshidi：英国克兰菲尔德大学计算工程科学中心、英国克兰菲尔德大学数字航空研究与技术中心（DARTeC）机器学习与数据分析实验室、沙特阿拉伯哈伊勒市哈伊勒大学计算机科学与工程学院。
   • Irene Moulitsas：英国克兰菲尔德大学计算工程科学中心、英国克兰菲尔德大学数字航空研究与技术中心（DARTeC）机器学习与数据分析实验室。
   • Karl W. Jenkins：英国克兰菲尔德大学计算工程科学中心。
4. 访问与引用：文章访问量达4032次，引用次数为21次，且依据知识共享署名（CC BY）许可协议开放获取。

二、研究背景与问题

1. 行业现状：自20世纪60年代起，飞机设计、续航和安全性提升使全球航空事故减少，但飞行员可靠性仍是飞行安全关键因素。2012-2021年，国际航空运输协会（IATA）数据显示45起飞机失事因飞行员失控导致，致1645人死亡；商用航空安全团队（CAST）调查18起飞行员失控事故，16起涉及机组人员注意力不足。
2. 核心问题：需检测和评估与注意力相关的飞行员绩效缺陷（APPD），重点关注通道化注意力（CA，飞行员专注玩《俄罗斯方块》忽略其他任务）、分散注意力（DA，执行显示器监控任务时需解周期性数学题）、惊吓/惊讶（SS，模拟器中主飞行显示器意外倒置）及正常状态（NE）四种心理状态。
3. 现有技术不足
   • 脑电图（EEG）易受肌肉活动、眼球运动等伪影干扰，传统预处理需手动操作，效率低且对初学者不友好。
   • 多数研究仅区分正常与单一心理状态（二元分类），少部分关注APPD，且无研究仅用EEG数据同时识别四种APPD状态（多类别分类）。
   • 部分研究样本量小（不足10人）、数据集未公开、未充分预处理数据，影响结果可推广性与可靠性。

三、研究目标与核心贡献

1. 研究目标
   • 开发先进自动化EEG预处理流程清理数据集。
   • 从清理后的EEG数据中提取与飞行员CA、DA、SS心理状态预测相关的空间特征。
   • 基于异质EEG数据和空间特征，开发混合集成学习模型对四种飞行员心理状态分类。
   • 验证混合集成学习模型是否优于其他机器学习模型。
   • 探究研究结果对开发航空领域APPD检测评估工具技术的贡献。
2. 核心贡献
   • 开发自动预处理流程，自动修复或移除损坏的EEG数据。
   • 基于清洗后EEG数据的黎曼几何分析，开发特征提取与选择方法，解决数据集不平衡和维度灾难问题，提取有效特征。
   • 开发基于新型APPD系统的混合集成学习模型，实现CA、DA、SS、NE四种状态分类。

四、研究方法

1. 数据集描述：2020年11月从NASA开放数据门户获取，含18名飞行员实验数据。飞行员参与4项实验（3项非飞行环境，1项高保真基于运动的飞行模拟器环境），数据以CSV格式记录生理信号。数据集划分为1秒时间段，合并为89198个样本，含NE、CA、DA、SS四类任务，其中NE类样本占比80%。

2. 自动预处理流程（基于MNE-Python库）
   • 滤波：用FIR滤波器对EEG信号进行1-50Hz带通滤波，抑制无关频率成分。
   • 分段与筛选：将数据分割为1秒非重叠时间段，剔除峰峰值信号幅度超700μV或低于1μV的时间段。
   • 伪影处理：先用Autoreject方法修复或丢弃受损时间段（基于贝叶斯优化和交叉验证确定伪影阈值），再利用MNE-Python函数（以Fp1通道为替代性眼电图）识别消除眨眼等伪影，最后再次用Autoreject处理修复后可能的失真。
   • 数据平衡：因NE类样本占比过高，对数据下采样，使各类别分布更均衡。
3. EEG特征提取
   • 空间滤波：基于改进的xDawn算法估计空间滤波器，提升信噪比。
   • 协方差矩阵处理：计算EEG时间段的空间协方差矩阵（对称正定矩阵，SPD），用费希尔测地线判别分析（FGDA）算法降维，去除无关信息。
   • 切空间映射：借助黎曼几何技术，将协方差矩阵映射到黎曼切空间并向量化，再用主成分分析（PCA）和方差分析（ANOVA）进一步降维，缓解维度灾难。
4. EEG分类与性能评估
   • 分类模型：训练随机森林（RF）、极端随机树（ERT）、梯度树提升（GTB）、AdaBoost、投票（Voting）五种集成学习模型，其中投票模型为混合集成模型，基于RF、ERT、GTB结果用平均预测概率预测类别标签。
   • 评估方法：采用基于分层的改进版5折交叉验证，将数据集分5等份，依次用1份作验证集、4份作训练集，重复5次取平均结果评估性能。
   • 性能指标：以准确率、精确率、召回率、F1分数为评估指标，同时计算基于F1分数的标准误差，还通过混淆矩阵分析模型分类混淆程度。

五、研究结果与讨论

1. EEG信号分析
   • 预处理效果：预处理流程从89198个时间段中剔除33786个受污染时间段（NE类29175个、CA类3632个、DA类598个、SS类381个），最终得到55412个样本。视觉对比显示预处理后信号噪声和伪影减少，质量提升；定量分析也证明预处理有效去除大量伪影。
   • 频谱功率分析：在所有频段，CA、DA、SS状态的平均功率均高于NE状态；SS状态各频段频率功率增幅较低；不同状态下各频段最高频谱功率分布在不同脑区（如CA和DA状态delta活动最高功率在额叶，CA状态beta和gamma活动最高功率在枕叶）。

2. 机器学习模型评估
   • 性能对比：RF、GTB、投票模型准确率达86%，表现最佳；其次是AdaBoost（84%）和ERT（83%），精确率、召回率、F1分数趋势与准确率一致。ERT性能略逊于RF，因其阈值随机选取增加模型偏差；GTB性能优于AdaBoost，因前者用对数损失函数，对误标记样本更鲁棒，后者用指数损失函数。
   • 类别识别难度：所有模型中，NE状态最易区分（准确率88.44%-91.88%），其次是CA（82.34%-86.88%）、DA（81.25%-84.06%），SS最难识别（79.53%-82.50%）。投票分类器在预测NE和DA状态表现最佳，GTB分类器在预测CA和SS状态表现最佳。
3. 与其他研究对比
   • 与Harrivel等人研究相比，本研究样本量更大，仅用EEG数据实现四类状态分类，且基于黎曼几何的特征提取性能优于频谱功率特征。
   • 与Han等人研究相比，本研究数据集公开，样本量更大（18人vs8人），准确率更高（86%vs77.7%）。
   • 与Terwilliger等人研究相比，本研究对数据进行了充分伪影清理，未合并类别，结果更清晰。

六、研究结论与展望

1. 结论
   • 提出的自动预处理流程能有效识别并自动修复或剔除EEG数据中的伪影，提升数据质量。
   • 基于EEG的脑机接口系统（如切空间映射）可有效表征飞行员心理状态。
   • RF、GTB和混合集成模型在预测飞行员NE、CA、SS、DA四种心理状态方面表现最佳，准确率达86%。
   • 本研究融合神经科学（Autoreject预处理）、脑机接口（切空间映射特征提取）、人工智能（混合集成学习分类）三领域先进技术，为飞行员心理状态检测提供创新且可靠的多模态方法。
2. 展望
   • 后续将进一步优化模型性能，扩大训练数据集规模。
   • 计划将该方法应用于更广泛的机器学习和深度学习模型。
   • 探索从EEG数据中提取其他有意义特征的可能性。

七、应用价值

1. 飞行员培训与绩效评估：通过EEG数据准确表征飞行员心理状态，识别飞行员需额外培训或支持的领域，评估培训计划对提升认知表现的有效性。
2. 航空安全：详细准确描述飞行中飞行员心理状态，识别飞行员易出错或认知超负荷的情况，便于采取主动干预措施预防事故。
3. 人机交互优化：基于EEG数据监测飞行员心理状态，开发更适配飞行员认知状态的脑机接口系统，提升航空系统整体效率与安全性。

八、其他信息

1. 数据与代码获取：实验所用源代码和数据依据MIT许可证免费公开，可从https://doi.org/10.17862/cranfield.rd.22232062下载（访问时间2023年7月1日）。
2. 伦理声明：机构审查委员会声明和知情同意声明均为“不适用”。
3. 利益冲突：作者声明无利益冲突。
4. 资金支持：文章处理费用（APC）由克兰菲尔德大学资助。