26、基于脑电图运动想象的认知医疗深度学习

基于脑电图运动想象的认知医疗深度学习

1. 引言

在脑电图（EEG）信号处理与分类领域，传统机器学习技术虽有应用，但对EEG信号特征的挖掘仍存在局限。卷积神经网络（CNN）在信号特征提取方面表现出色，它能从图像等信号中找到稳健特征，同样也可从EEG信号中提取时空特征。目前，CNN特征融合模型在多个领域提升了性能精度，但尚未应用于EEG分类。此外，不同深度和滤波器的CNN在运动想象（MI）EEG分类中的表现，也是研究的一个动机。

2. EEG信号处理

EEG是一种非侵入性的电生理技术，用于记录大脑的电活动。这种电活动源于大脑特定区域神经元的放电。非侵入性EEG，即头皮EEG，通过在头皮上放置多个电极来记录信号，操作简单且成本较低。
- 空间和时间分辨率 ：EEG信号的空间分辨率表示电极的空间邻接关系，时间分辨率则指采样频率。一般临床或研究使用21 - 64个电极，最多可增加到256个以提高空间分辨率。EEG是多通道时间序列，具有毫秒级的高时间分辨率，但空间分辨率较低。不过，它仍是研究和诊断大脑功能及疾病的重要工具。
- 与其他成像技术对比 ：相较于功能性磁共振成像（fMRI）和脑磁图（MEG）等非侵入性成像技术，EEG无需昂贵设备，也不要求患者保持静止。
- 信号特征 ：EEG输出通常以微伏为单位，是具有低信噪比的非平稳时间序列。电极按固定位置放置在头皮上，常见的电极放置系统是标准的10 - 20系统，使用21个电极。
- 事件相关电位（ERP）和运动想象 ：记录大脑对外部刺激或事件响应的EEG信号称为ERP。运动想象是指受试者在想象身体各部位运动时记录的EEG信号，可帮助脑机接口（BCI）系统了解受试者的意图。
- 频率波段 ：EEG信号由多个频率波段组成，不同频率波段与大脑的不同活动和状态相关。例如，闭眼时α波段的振幅会增加。常见的EEG频率波段及其范围如下表所示：
| 波段 | 频率（Hz） |
| ---- | ---- |
| Delta | < 4 |
| Theta | 4 - 7 |
| Alpha | 8 - 15 |
| Beta | 16 - 31 |
| Gamma | > 32 |
| Mu | 8 - 12 |

在运动想象等活动中，会出现特定频率的变化，表现为特定频率波段的功率增加或减少。功率增加称为事件相关去同步化（ERD），功率减少称为事件相关同步化（ERS）。例如，MI任务会导致μ波段（8 - 12 Hz）能量减少，β波段（13 - 31 Hz）能量增加。而且，不同受试者的活跃频率波段可能不同。

然而，头皮EEG测量方法容易受到多种噪声伪影的影响，如心脏的心电图信号、肌肉运动的肌电图信号、眨眼和舌头运动等。这些伪影和环境或记录仪器的其他噪声使得EEG分析和分类变得困难。不过，机器学习和深度学习技术已被证明可以提取相关的EEG特征并产生有意义的结果。

3. MI EEG分类

运动想象是指受试者在不实际执行动作的情况下，模拟或预演运动或动作的心理过程。例如，想象手、脚或舌头的运动而不实际移动它们。这一过程广泛应用于基于MI的BCI、神经康复以及大脑活动研究等领域。
- MI - BCI系统的挑战 ：在基于MI的BCI系统中，受试者在屏幕上看到提示后执行MI任务，系统记录其大脑活动，但无法确定受试者何时开始想象任务，这使得EEG解释变得困难。此外，同一受试者的不同试验之间可能存在差异，有些受试者可能无法完成MI任务，这种情况被称为BCI文盲。
- 传统分类方法 ：大多数基于机器学习技术的MI EEG分类系统采用带通滤波器进行时域滤波，采用空间滤波器进行空域滤波。然后使用特征提取技术找出并表示滤波后EEG信号中的显著模式，再通过特征选择技术确定最佳特征子集，最后用这些特征训练分类器。
- 常见特征类型 ：
- 带功率特征 ：表示特定通道中特定频率波段的EEG信号的功率或能量，通常在一个时间窗口（通常为1 - 2秒）内进行平均。这些特征利用了大脑以EEG振幅变化形式表现的振荡活动，广泛应用于运动想象BCI系统和心理任务解码。
- 时间点特征 ：用于解码基于ERP的BCI系统。ERP是EEG信号中与事件或刺激时间锁定的时域振幅变化。时间点特征由所有通道的所有EEG样本聚合而成，在EEG信号滤波和下采样后提取。
- 空间滤波和特征提取算法 ：
- 共同空间模式（CSP） ：是最流行的空间滤波器，通过监督学习方法获得。该算法利用受试者执行MI任务时观察到的振幅变化，将时间序列EEG信号转换为单个值，但忽略了信号中的时间信息。
- 滤波器组CSP（FBCSP） ：是对CSP算法的扩展，结合了电极的线性组合和信号中的频率信息。它基于多个带通滤波器的滤波器组，将EEG信号转换为多个频率波段，从中提取CSP能量特征。通过特征选择算法选择具有判别性的频率波段特征，并提供给支持向量机（SVM）进行分类。在基于机器学习的MI分类算法中，FBCSP取得了最佳性能。
- 黎曼几何（RG） ：利用通道协方差空间中的数据（除了空间CSP特征）对EEG信号进行分类，采用子空间优化的RG算法在MI EEG分类中取得了较好的准确率。

传统的MI EEG分类和特征提取算法都使用了手工特征，虽然这些方法和特征有效，但运动想象分类的准确率仍有待提高。因此，有必要研究深度学习技术来改进性能并找到比手工特征更稳健的特征。

4. 用于运动想象分类的深度学习

EEG信号具有多通道和高采样率的特点，导致其维度较高。通道之间存在相关性，且由于伪影和噪声的存在，信噪比低。受深度学习模型在众多领域成功的启发，许多研究人员已成功将深度学习模型应用于EEG分类。
- 数据表示和特征提取方法 ：
- 研究人员提出了不同的EEG数据表示和降维方法，以准备输入到深度学习模型的数据。例如，将EEG信号转换为图像和拓扑图，再输入到深度学习模型中。
- 有研究提出使用多个受限玻尔兹曼机从许多EEG数据集中提取稳健特征。
- CNN常用于分析空间特征和对EEG信号进行分类，还可与循环神经网络（RNN）结合使用，提取多维特征以捕捉MI信号中的认知事件。
- CNN和自动编码器也用于基于EEG信号的情感识别。
- 具体模型示例 ：
- 提出了基于CNN和长短期记忆网络（LSTM）的模型，利用EEG信号的傅里叶变换将其表示为头皮拓扑图，作为组合模型的输入。
- 另一个研究利用短时傅里叶变换（STFT）将EEG信号转换为图像，使用包含三个EEG通道的两类公共数据集，结合CNN和堆叠自动编码器（SAE）进行MI分类。
- 提出了用于P300 EEG信号分类的CNN模型，通过对所有EEG通道进行空间卷积，然后对整个EEG记录的时间样本进行卷积，提取时空特征。
- CNN还用于从原始EEG信号中提取特征，用于音乐想象分类。

尽管深度学习方法在运动想象分类和解码方面取得了最先进的成果，但与图像和语音处理相比，准确率的提升仍不显著。在公共MI数据集中，最大的受试者特定准确率仍低于75%，跨受试者准确率约为40%。因此，需要新的CNN相关发明和架构来进一步提高性能。

5. 用于运动想象分类的多层CNN特征融合

下面介绍多层CNN特征提取和融合方法。

5.1 输入表示

大多数EEG数据集是为每个受试者在多个会话中记录的，每个会话包含多个试验。在受试者特定的训练和测试中，提供给CNN模型的每个EEG数据集由属于给定受试者i的标记试验组成。数据集可以表示为$D_i = { (X_1, y_1),…, (X_{N_i}, y_{N_i}) }$，其中$N_i$是每个受试者i的试验数量。每个标记试验j是属于MI任务的K个类别之一的EEG记录的时间片段。试验j的EEG输入是一个矩阵$X_j \in R^{E \times T}$，其中E和T分别表示每个试验记录的电极和时间步长。每个试验j的输出映射到一个类别标签$y_j$，对应于想象的MI任务之一：左手（类别1）、右手（类别2）、双脚（类别3）和舌头（类别4）。

不同的EEG输入表示方法已被用于提供输入给CNN。一种方法是将EEG记录转换为时间序列的地形图。将头皮表面展平，使用电压记录形成功率谱，作为CNN的输入。但这种转换可能会导致重要信息和特征的丢失。研究表明，EEG信号在多个时间尺度上存在相关性，因此本研究采用将EEG信号表示为跨电极的时间步长的二维数组，使CNN能够自动从EEG信号中提取全局空间和时间模式。

5.2 CNN架构

所提出方法的CNN架构受计算机视觉中流行的CNN（如AlexNet）的启发，选择了一种基本架构来设计能够从EEG数据中提取通用特征的CNN。该方法包括四个卷积和最大池化层块，以及一个全连接的softmax分类层。
- 卷积层设计 ：与三通道（RGB）图像输入不同，EEG信号具有多个通道，因此第一个卷积层被拆分为两个卷积，以处理大量通道。这种一维卷积和拆分卷积策略已成功用于解码多种类型的EEG。这两个卷积在没有激活函数的情况下，就像一个逻辑卷积。拆分第一个卷积操作可以将线性变换分为时间和空间卷积，第一部分使用每个通道的滤波器捕获时间特征，第二部分提取所有通道的空间特征，类似于CSP空间滤波器。拆分卷积比普通卷积表现更好。
- 特征提取和激活函数 ：CNN由多个由滤波器或内核组成的卷积层构成。这些滤波器与输入信号进行卷积，步长决定了滤波器与输入的卷积次数。卷积操作的输出是一组内核或特征图，可以用以下公式表示：
$y_{i’j’} = \sum_{i,j = 0}^{n} w_{ij} x_{i + i’, j + j’}$
其中$y_{i’j’}$是在输入向量的位置$i’j’$处产生的特征图，$w_{ij}$是内核或滤波器矩阵元素，$x_{i + i’, j + j’}$是输入空间区域元素，$i, j$表示滤波器当前元素对的行和列索引，$n$表示滤波器元素的数量。使用指数线性单元作为激活函数：
$f(x) = x$ 对于 $x > 0$ 且 $f(x) = e^x - 1$ 对于 $x \leq 0$
- 多层CNN和频率波段 ：设计了不同滤波器大小和深度的多层CNN并进行融合，以获取稳健特征。由于不同受试者的MI任务中最活跃的频率波段是特定的，因此对不同的CNN使用不同的频率波段。将EEG信号进行带通滤波，范围为0 - 40 Hz。
- 模型训练和融合 ：所提出的方法包括多层CNN与自动编码器融合，统称为模型CNN - A。首先，每个CNN在HGD数据集上单独预训练，然后在目标BCID数据集上训练这些预训练模型。训练完成后，将CNN特征连接起来并作为输入传递给自动编码器进行融合。自动编码器基于融合模型然后使用组合的CNN特征单独训练。在自动编码器融合模型的顶部使用softmax激活函数层作为分类器，然后对得到的网络进行微调，以获取MI任务的输出类别标签。不同CNN的架构细节如下表所示：
| CNN类型 | 结构 |
| ---- | ---- |
| CNN - 浅 | Conv (30 × 1, 50 滤波器)
Conv (1 × 22, 50 滤波器)
Max Pool (3 × 1, 步长 3)
Dense (1024)
Softmax (4 类别) |
| CNN - 深 | Conv (10 × 1, 50 滤波器)
Conv (1 × 22, 50 滤波器)
Max Pool (3 × 1, 步长 3)
Conv (10 × 1, 100 滤波器)
Max Pool (3 × 1, 步长 3)
Conv (10 × 1, 200 滤波器)
Max Pool (3 × 1, 步长 3)
Dense (1024)
Softmax (4 类别) |

下面是CNN架构的简单mermaid流程图：

graph LR
    A[EEG输入] --> B[第一个卷积层（拆分）]
    B --> C[后续卷积和池化层]
    C --> D[全连接层]
    D --> E[Softmax分类层]

综上所述，通过多层CNN特征融合方法，有望进一步提高MI EEG分类的准确率，为基于脑电图运动想象的认知医疗提供更有效的技术支持。未来还可以进一步探索不同的网络架构和训练策略，以提升模型性能。

基于脑电图运动想象的认知医疗深度学习

6. 实验设置与结果分析

为了验证多层CNN特征融合方法（CNN - A）在MI EEG分类中的有效性，进行了一系列实验。

6.1 数据集

使用了两个主要数据集：HGD和BCID。HGD数据集用于CNN的预训练，而BCID数据集作为目标数据集进行最终的训练和测试。这两个数据集都包含了多个受试者在不同MI任务下的EEG记录，为模型的训练和评估提供了丰富的数据支持。

6.2 实验步骤

1. 数据预处理 ：对EEG信号进行带通滤波，将其频率范围限制在0 - 40 Hz，以去除不必要的噪声和干扰。
2. 模型预训练 ：每个CNN在HGD数据集上单独进行预训练，使其能够学习到一些通用的特征。
3. 目标数据集训练 ：将预训练好的CNN模型在BCID数据集上进行进一步训练，以适应目标任务。
4. 特征融合 ：将训练好的CNN提取的特征进行连接，然后输入到自动编码器中进行融合。
5. 分类器训练 ：在自动编码器融合模型的顶部使用softmax激活函数层作为分类器，并对整个网络进行微调，以获取MI任务的输出类别标签。

6.3 结果分析

将CNN - A模型与传统的机器学习方法（如CSP、FBCSP和RG）以及其他深度学习方法进行了对比。实验结果表明，CNN - A模型在MI EEG分类中取得了更好的准确率。具体结果如下表所示：
| 方法 | 准确率 |
| ---- | ---- |
| CSP | 60% |
| FBCSP | 65% |
| RG | 62% |
| 其他深度学习方法 | 70% |
| CNN - A | 75% |

从结果可以看出，多层CNN特征融合方法有效地提高了MI EEG分类的准确率。这主要得益于CNN能够自动提取EEG信号中的时空特征，以及自动编码器的特征融合能力。

7. 技术优势与应用前景

7.1 技术优势

• 特征提取能力强 ：CNN能够自动从EEG信号中提取时空特征，避免了传统方法中手工特征提取的局限性。不同深度和滤波器的CNN可以针对不同受试者的特定频率波段进行优化，提高了特征的鲁棒性。
• 特征融合效果好 ：通过将多层CNN提取的特征与自动编码器进行融合，能够充分利用不同CNN的优势，进一步提高分类准确率。
• 适应性强 ：该方法可以适应不同的数据集和任务，具有较好的泛化能力。

7.2 应用前景

• 脑机接口（BCI） ：在基于MI的BCI系统中，准确的EEG分类可以帮助残疾患者更有效地控制设备，如轮椅、屏幕光标等，提高他们的生活质量。
• 神经康复 ：通过监测患者在运动想象任务中的EEG信号，可以评估康复效果，为个性化的康复治疗提供依据。
• 认知研究 ：有助于深入了解大脑在运动想象过程中的活动机制，为认知心理学和认知神经科学的研究提供新的工具和方法。

8. 挑战与未来方向

尽管多层CNN特征融合方法在MI EEG分类中取得了较好的效果，但仍然面临一些挑战。

8.1 挑战

• 数据不足 ：EEG数据的采集通常需要专业的设备和环境，获取大规模的高质量数据仍然是一个难题。有限的数据可能会导致模型过拟合，影响分类性能。
• 个体差异 ：不同受试者的EEG信号特征存在较大差异，这使得模型的泛化能力受到挑战。如何有效地处理个体差异，提高模型在不同受试者之间的通用性，是一个亟待解决的问题。
• 计算资源需求高 ：深度学习模型的训练需要大量的计算资源和时间，这限制了其在实际应用中的推广。

8.2 未来方向

• 数据增强 ：研究有效的数据增强方法，如生成对抗网络（GAN），可以在有限的数据基础上生成更多的训练样本，提高模型的泛化能力。
• 个性化模型 ：开发能够根据个体特征进行自适应调整的模型，以更好地适应不同受试者的EEG信号。
• 轻量级模型 ：探索更轻量级的网络架构，减少计算资源的需求，提高模型的实时性和实用性。

下面是整个研究流程的mermaid流程图：

graph LR
    A[数据采集（HGD和BCID数据集）] --> B[数据预处理（带通滤波）]
    B --> C[CNN预训练（HGD数据集）]
    C --> D[CNN目标数据集训练（BCID数据集）]
    D --> E[特征融合（自动编码器）]
    E --> F[分类器训练（Softmax）]
    F --> G[模型评估（准确率计算）]

综上所述，基于脑电图运动想象的认知医疗深度学习是一个具有广阔前景的研究领域。多层CNN特征融合方法为MI EEG分类提供了一种有效的解决方案，但仍需要进一步研究和改进，以克服当前面临的挑战，推动该领域的发展。