一、EEG-GPT: EXPLORING CAPABILITIES OF LARGE LANGUAGE MODELS FOR EEG CLASSIFICATION AND INTERPRETATION
这篇文章提出了EEG-GPT方法,利用大语言模型(LLM)进行脑电图(EEG)分类和解读,在少样本学习范式下表现出色,为临床应用提供了新方向。
1. 研究背景:传统机器学习应用于EEG存在局限性,缺乏多尺度理解和分类能力,且解释性差。LLM的发展为EEG研究带来新契机,其具有少样本、零样本学习,推理规划和协同计算工具的能力,适用于EEG小数据场景。
2. 研究方法
少样本和零样本学习:使用Temple University Hospital Abnormal Corpus数据集,将EEG文件划分为20秒时段,计算5个通道的6种特征,转换为语言表示后微调da Vinci GPT-3基础LLM。对比EEG-GPT与传统机器学习和深度学习方法在少样本和零样本场景下的表现。
EEG工具使用推理能力评估:模拟临床癫痫专家分析EEG的过程构建决策树,利用Tree of Thought框架让LLM探索决策树空间。为LLM配备自动癫痫检测模型、自动尖峰检测算法和qEEG特征比较工具,辅助EEG分类。
3. 实验结果
少样本和零样本学习能力:在仅使用2%训练数据时,EEG-GPT的AUROC达到0.86,优于传统机器学习方法;零样本学习时,其性能高于随机猜测,结合上下文学习AUROC提升至0.63。
EEG工具使用推理能力:通过两个示例展示EEG-GPT能合理运用工具。对含癫痫的EEG文件,自动癫痫检测模型可快速识别;对不含癫痫的异常EEG文件,能按序使用其他工具进行判断。
4. 研究结论:EEG-GPT在EEG分类任务中,少样本学习性能超越传统机器学习方法,且可与部分深度学习方法媲美。但当前LLM存在生成非事实信息的问题,未来需进一步优化性能、评估推理能力、识别潜在错误模式,并添加更多专业软件工具。
二、MTNet: Multimodal transformer network for mild depression detection through fusion of EEG and eye tracking
论文“MTNet: Multimodal transformer network for mild depression detection through fusion of EEG and eye tracking”发表于Biomedical Signal Processing and Control期刊,提出了一种新颖的多模态变压器网络MTNet,通过融合脑电图(EEG)和眼动追踪数据来检测轻度抑郁症,为抑郁症检测提供了新的方法和思路。
1. 研究背景:抑郁症影响全球众多人口,目前的诊断方法存在误诊风险,因此研究客观的生物指标意义重大。EEG和眼动追踪技术因非侵入性和易记录性在抑郁症检测研究中受到关注,多模态数据融合也在该领域得到广泛应用。
2. 材料和方法
数据采集:招募49名青少年,依据排除标准筛选,经伦理委员会批准并获取参与者及其家长的知情同意书,使用相关评估量表评估抑郁程度,采用特定的注意力机制范式进行实验。
数据预处理:EEG数据经滤波、下采样、基线校正等处理;眼动数据提取感兴趣区域样本百分比等特征。
特征融合与分类:基于特征的融合,提取EEG统计、Hjorth等特征,结合眼动特征,选用七种机器学习算法进行分类实验;深度学习融合,构建MTNet,对EEG数据特定频段处理后经时空卷积、Transformer层等操作,结合眼动数据输入全连接层分类,以多种模型为基线对比,采用多指标评估,使用特定损失函数和优化算法训练。
融合阶段实验:分析早期、中期和晚期融合对实验结果的影响,早期融合用全连接神经网络评估;中期融合基于MTNet优化;晚期融合建立子模型预测,采用不同加权方法。
3. 实验结果:基于特征的融合中,SVM在融合数据上准确率最高;深度学习融合中,Transformer模型处理EEG数据表现最佳,MTNet的中期融合分类准确率达91.79%,表现最优。
4. 研究结论:MTNet能有效提取多模态数据时空特征,分类准确率高;中期融合在处理EEG和眼动数据时优势明显,未来可增加参与者数量和拓展疾病诊断范围。
三、
论文提出了一种基于扩散的深度学习框架DiffMDD,用于利用脑电图(EEG)进行抑郁症(MDD)诊断,有效解决了EEG数据质量和数据量方面的挑战,提升了诊断模型的性能。
1. 研究背景:MDD影响全球众多人口,早期准确诊断意义重大。EEG因高时间分辨率、低成本和非侵入性,成为有前景的MDD诊断工具,但EEG数据存在质量差和数据量小的问题,易导致过拟合,限制了深度学习模型在MDD诊断中的性能。
2. 相关工作:基于EEG的MDD诊断深度学习方法易受数据质量和规模限制,现有研究直接在原始数据集上训练,效果不佳。去噪扩散概率模型(DDPMs)在生成任务中表现出色,本研究借鉴其前向和反向扩散过程,改进MDD诊断模型。
3. 方法:将MDD诊断问题定义为二分类问题。DiffMDD框架包含三个模块::前向扩散噪声训练,反向扩散数据增强,再训练与分类
(1)前向扩散噪声训练模块:从原始 EEG 中按等长裁剪得到 EEG 样本,然后通过马尔可夫过程逐步向这些样本注入随机时间步t的高斯噪声
。在每个时间步t,根据特定的概率分布生成带噪样本。使用这些不同噪声水平的带噪样本
来初始化训练分类器
。在训练过程中,分类器尝试学习样本中的有效特征,而忽略噪声的影响,从而提高对真实信号特征的捕捉能力。
(2)反向扩散数据增强模块:利用训练好的分类器指导和条件扩散模型,扩散模型中,除使用 1DCNN - Transformer 捕捉时间特征外,还设计空间 Transformer 捕捉不同 EEG 通道间关系。将脑功能区域嵌入层和半球嵌入层连接,作为空间 Transformer 的位置嵌入,以更好地捕捉 EEG 通道间的关系。
首先训练扩散模型: 以样本
、其时间步 t 和
输出的 EEG 嵌入
作为输入,输出非引导预测噪声
。通过最小化非引导预测噪声
与真实噪声
之间的均方误差(MSE)来训练扩散模型,损失函数为
,其中 K 是注入了噪声的 EEG 样本的数量。
再生成样本(基于去噪扩散隐式模型(DDIM)):从众多注入噪声的 EEG 样本中随机采样,对这些采样得到的样本进行反向扩散操作,具体为:在原本的预测噪声中,加入分类器
引导,通过公式
计算调整后的预测噪声
。然后用这个
,更新当前时间步的样本
到上一个时间步的样本
,不断重复这个更新过程,从随机噪声逐步生成新的 EEG 样本。
(3)重新训练和分类模块,在增强数据集上重新训练分类器,基于1DCNN - Transformer构建分类器进行最终诊断。
4. 实验:使用Mumtaz2016和Arizona2020两个公共数据集,对数据进行重采样、滤波等预处理。以10折独立受试者交叉验证评估模型,使用准确率、F1分数等指标。对比多种方法,结果显示DiffMDD在几乎所有指标上达到最优。消融实验表明两个扩散模块均显著提升性能,反向扩散数据增强模块贡献更大。与其他数据增强方法相比,DiffMDD表现最佳。超参数敏感性分析显示模型对超参数变化具有鲁棒性,生成数据可视化证明了生成数据的质量和多样性。
5. 结论:DiffMDD在两个公共数据集上取得了最先进的性能,有效解决了EEG数据问题导致的过拟合,学习到更鲁棒和通用的特征。未来计划收集更多数据、探索生成模型并将模型应用于实际诊断。
注:
四、M-MDD: A multi-task deep learning framework for major depressive disorder diagnosis using EEG
该论文发表于*Neurocomputing*2025年第636卷,提出了一种基于EEG的多任务深度学习框架M-MDD用于重度抑郁症(MDD)诊断,经实验验证性能卓越,为临床诊断提供了新方向。
1、研究背景:MDD全球影响超3.5亿人,传统诊断依赖主观观察和问卷,EEG为MDD诊断带来新契机,但现有研究面临模型抗噪性差和EEG特征提取融合不佳的问题。
2、相关工作:基于EEG的MDD诊断方法分为机器学习和深度学习两类。前者依赖手工特征、自动化程度低;后者虽能自动提取特征,但在特征提取融合和抗噪性方面存在不足。
3、方法:M-MDD框架包含对比噪声鲁棒性任务、监督特征提取任务和多任务学习模块。
(1)对比噪声鲁棒性任务:用独立成分分析(ICA)将健康者和 MDD 患者 EEG 信号分解为独立成分,通过交换成分构建对比样本对,使正样本对信号成分相同、噪声成分不同,负样本对则相反,损失函数采用边缘三元组损失。(核心是让具有相同信号成分的样本对(正样本对)相似度高于具有相同噪声成分的样本对(负样本对),引导模型学习到更具鲁棒性的特征,使其能在有噪声环境下准确识别 EEG 信号特征。)
(2)监督特征提取任务:
时 / 频谱特征编码器:结合 1D-CNN 和 Transformer 设计 CNN-Transformer 编码器。先对 EEG 样本进行快速傅里叶变换(FFT)得到频域变体,按通道切片后将原EEG样本和频域变换后的EEG样本分别送入时域和频域的 CNN 层,其输出再输入 Transformer 编码器层。最终取时 / 频域的首 (或末)步输出,拼接通道嵌入得到模块输出。
空间特征编码器:应用 Transformer 编码器层学习不同通道间关系和重要性。通过连接脑区嵌入层和半球嵌入层代替标准位置嵌入,利用 SE 注意力层学习通道关联和重要性权重,将各通道加权求和得到时空域最终嵌入,再次应用 SE 注意力机制得到融合多种特征的样本嵌入,用于后续分类,损失函数采用交叉熵函数。
注:
(3)多任务学习模块:联合训练前两个任务,优化模型性能。
4、实验:在Mumtaz2016和Arizona2020数据集上,采用10折独立受试者交叉验证评估模型。对比多种方法,M-MDD在各项指标上表现最优;消融实验验证了各模块有效性;噪声鲁棒性测试表明其抗噪能力强;通道注意力案例研究揭示了不同脑区通道在时频域的重要性差异。
5、结论:M-MDD在两个公共数据集上达到SOTA性能,对常见噪声有可接受的鲁棒性,但存在数据量小和跨疾病诊断能力不足的问题,未来将扩大数据集并探索跨疾病诊断应用。
[1] Kim J W, Alaa A, Bernardo D. EEG-GPT: exploring capabilities of large language models for EEG classification and interpretation[J]. arXiv preprint arXiv:2401.18006, 2024.
[2] Zhu F, Zhang J, Dang R, et al. MTNet: Multimodal transformer network for mild depression detection through fusion of EEG and eye tracking[J]. Biomedical Signal Processing and Control, 2025, 100: 106996.
[3] Wang Y, Zhao S, Jiang H, et al. Diffmdd: A diffusion-based deep learning framework for mdd diagnosis using eeg[J]. IEEE transactions on neural systems and rehabilitation engineering, 2024, 32: 728-738.
[4] Wang Y, Zhao S, Jiang H, et al. M-MDD: A multi-task deep learning framework for major depressive disorder diagnosis using EEG[J]. Neurocomputing, 2025: 130008.