27、基于深度学习的脑电图运动想象认知医疗保健研究

基于深度学习的脑电图运动想象认知医疗保健研究

1. 研究背景与动机

脑电图（EEG）运动想象分类在脑机接口（BCI）领域具有重要意义，但EEG数据具有多通道、低信噪比和非平稳性等特点，提取相关特征是一项具有挑战性的任务。为了提高EEG分类的准确性，研究人员尝试了多种方法，包括使用不同的卷积神经网络（CNN）设计策略和特征融合技术。

2. CNN设计与训练

2.1 CNN设计

为了测试不同的CNN设计策略，研究人员创建了多个具有不同层数和滤波器大小的CNN。研究从一个具有单个卷积、池化块和密集分类层的CNN开始，逐渐增加卷积和池化块的数量，直到模型性能下降。大多数成功的EEG分类研究使用的是浅层CNN架构，因此深层CNN主要作为基线模型。

2.2 卷积操作

MI记录具有多个通道，范围从3到128。采用的卷积策略是先对每个通道或跨一些时间样本进行第一次卷积操作，然后对所有通道逐个样本进行第二次卷积操作。这种分割卷积有利于学习时间和空间特征。

2.3 预训练

为了防止在小训练数据集上出现过拟合，使用HGD数据集进行预训练。HGD是一个在受控记录条件下创建的大型MI数据集，包含来自20名健康受试者的128个电极记录，训练集有880次试验，测试集有160次试验。

2.4 训练技术

通常使用两种训练技术：
- 受试者内训练 ：将一次会话放入测试集，其余会话放入训练集，在未见过但属于同一受试者的会话上测试系统。
- 受试者间训练 ：一个受试者作为测试集，其余受试者作为训练集，对所有用户重复此过程。

EEG数据使用2秒滑动窗口进行裁剪，然后输入到CNN中，以强制CNN学习通用的EEG特征。

2.5 CNN参数优化

卷积操作后进行非线性变换、最大池化和具有softmax的密集层。使用批量归一化和丢弃法可以提高性能，激活函数使用指数线性单元（ELU）。使用小批量随机梯度下降优化CNN参数，softmax函数为每个类别生成概率分数。

2.6 卷积 - 池化块数量

逐渐增加卷积 - 池化块的数量来确定性能提升情况。具有1、2、3和4个块的CNN在特定滤波器大小和频段下显示出改进的学习能力。使用超过四个卷积 - 池化块会导致性能持续下降，因此在融合方法中不使用超过五个块的CNN。

2.7 不同架构的CNN

具有一个卷积 - 池化块的浅CNN（CNN - shallow）和具有四个卷积 - 池化块的深CNN（CNN - deep）在特定滤波器大小下表现出合理的性能。浅CNN使用较大的滤波器大小可能更有效地学习特定的时间和空间特征，而深CNN可能更适合提取通用的EEG特征。

3. 多层CNN特征融合

3.1 融合方法

提出了一种使用MLP和自动编码器的融合方法来组合CNN进行EEG分类。不同的CNN架构可能在提取不同类型的EEG特征方面有效，因此它们的融合可以帮助构建用于EEG解码的通用特征。

3.2 特征融合过程

使用两种不同架构的自动编码器进行特征融合。CNN在HGD数据集上进行预训练，然后通过移除其最终的softmax分类层并使用线性层连接特征来进行融合。多层CNN方法在BCID数据集上通过受试者内和受试者间训练方法进行训练。

3.3 训练与验证

使用九折交叉验证方案进行受试者间训练，将来自八个受试者的数据用于训练，其余一个受试者用于验证。将连接层得到的多层CNN特征输入到自动编码器中，网络在组合特征向量上进行训练和微调，输出发送到softmax层以获取MI类别的概率分数。

4. 自动编码器的交叉编码

4.1 自动编码器原理

自动编码器作为融合模型，将CNN特征集输入到自动编码器的输入层，通过全连接隐藏层在输出层重建相同的输入特征集。隐藏层的神经元数量较少，作为瓶颈去除冗余并学习重建输入所需的最重要特征。

4.2 训练过程

在训练过程中，输入x在编码阶段映射到隐藏层，隐藏层z的输出在解码阶段映射到输出层以重建输入。使用无监督学习技术，训练目标是最小化重建误差。

4.3 交叉试验编码

在受试者内训练中，自动编码器被强制从同一受试者和类别的另一个会话中重建另一个试验。在受试者间训练中，自动编码器被给予一个受试者的特征，并被强制重建同一类别的任何其他受试者的特征。

4.4 交叉编码的优势

交叉编码自动编码器可以适应受试者之间的差异，并提供跨受试者的共同表示，有助于提高受试者内和受试者间测试的性能。

5. 实验与结果

5.1 基线模型

选择Deep CNN模型作为评估提出的多层CNN融合方法的基线模型。

5.2 实验结果

实验结果表明，提出的MCNN方法在BCID和HGD数据集上优于其他方法。具体结果如下：
| 方法 | 描述 | BCID准确率 | HGD准确率 |
| — | — | — | — |
| Ang et al. | Filter Bank CSP | 68.0% | 91.2% |
| Tabar et al. | 1D CNN with SAE | 70.0% | - |
| Lawhern et al. | CNN with depth and separable convolutions | 69.0% | - |
| Schirrmeister et al. | CNN with cropped training | 72.0% | 92.5% |
| 提出的方法 | CNN - A | 74.1% | 94.0% |

不同卷积 - 池化块数量的CNN分类结果：
| 模型 | 卷积滤波器大小 | BCID准确率 | HGD准确率 |
| — | — | — | — |
| CNN - shallow | 30 × 1 | 73.7% | 89.1% |
| CNN - deep | 10 × 1 | 72.8% | 92.8% |

受试者间分类结果：
| 方法 | 描述 | BCID准确率 | HGD准确率 |
| — | — | — | — |
| Ang et al. | Filter Bank CSP | 38.0% | 65.2% |
| Lawhern et al. | CNN with depth and separable convolutions | 40.0% | - |
| Schirrmeister et al. | CNN with cropped training | 41.0% | 69.5% |
| Sakhavi et al. | Temporal features with FBCSP and CNN | 44.4% | - |
| 提出的方法 | CNN - A | 53.2% | 77.7% |

5.3 主要贡献

本研究的主要贡献之一是提高了受试者间分类的准确性。CCNN方法结合交叉编码技术提供了比文献中报道更好的受试者间EEG分类结果。交叉试验自动编码器训练显示出了最先进的性能，提出的方法在受试者间分类方面比最先进的深度学习模型提高了超过10%的准确率。

6. 总结

本研究提出了一种从MI EEG记录中进行深度特征学习的新方法，通过多层CNN特征融合和交叉编码技术，解决了EEG分类中的问题和挑战。实验结果证实了该方法在不同具有挑战性的数据集上优于最先进的机器学习和深度学习方法，可用于智能城市环境中的认知系统，帮助利益相关者使用运动想象信号进行通信和控制设备。未来的工作将进一步改进CNN模型和融合方法，以提高受试者内和受试者间的分类准确性。

流程图

graph LR
    A[EEG数据] --> B[裁剪]
    B --> C[CNN预训练（HGD数据集）]
    C --> D[多层CNN特征融合]
    D --> E[自动编码器交叉编码]
    E --> F[训练与微调]
    F --> G[Softmax层获取概率分数]
    G --> H[分类结果]

关键步骤总结

1. 设计不同架构的CNN，使用HGD数据集进行预训练。
2. 采用受试者内和受试者间训练技术，裁剪EEG数据输入到CNN。
3. 进行多层CNN特征融合，使用自动编码器进行交叉编码。
4. 在BCID数据集上训练和微调模型，使用softmax层进行分类。
5. 评估模型性能，与其他方法进行比较。

7. 技术细节分析

7.1 CNN设计策略

在设计CNN时，研究人员采用了逐步增加卷积和池化块数量的策略。这一策略基于对现有文献的分析，发现大多数成功的EEG分类研究使用的是浅层架构。具体操作如下：
1. 从一个具有单个卷积、池化块和密集分类层的CNN开始。
2. 逐渐增加卷积和池化块的数量，观察模型性能的变化。
3. 当模型性能开始下降时，停止增加块的数量。

这种策略有助于找到最适合EEG分类的CNN架构，避免使用过深的网络导致性能下降。

7.2 卷积操作的特点

MI记录的多通道特性决定了卷积操作的特殊性。具体步骤如下：
1. 第一次卷积操作：对每个通道或跨一些时间样本进行卷积，目的是学习时间特征。
2. 第二次卷积操作：对所有通道逐个样本进行卷积，以学习空间特征。

通过这种分割卷积的方式，能够充分利用EEG数据的多通道信息，提高特征提取的效果。

7.3 预训练的作用

使用HGD数据集进行预训练是为了防止在小训练数据集上出现过拟合。HGD数据集具有以下优点：
1. 数据量大：包含来自20名健康受试者的128个电极记录，训练集有880次试验，测试集有160次试验。
2. 噪声小：在受控记录条件下创建，数据质量较高。

预训练的具体步骤为：
1. 在HGD数据集上对CNN进行训练。
2. 使用预训练好的CNN在目标数据集（如BCID数据集）上进行微调。

7.4 训练技术的选择

研究中使用了受试者内训练和受试者间训练两种技术。两种技术的特点和适用场景如下：
| 训练技术 | 特点 | 适用场景 |
| — | — | — |
| 受试者内训练 | 将一次会话放入测试集，其余会话放入训练集，测试系统在未见过但属于同一受试者的会话上的性能。 | 由于EEG信号具有动态性，该方法能更好地适应同一受试者的信号变化。 |
| 受试者间训练 | 一个受试者作为测试集，其余受试者作为训练集，对所有用户重复此过程。 | 评估模型的泛化能力，更具挑战性，评估结果更稳健。 |

7.5 特征融合的实现

特征融合是本研究的核心部分，使用了两种不同架构的自动编码器。具体实现步骤如下：
1. CNN预训练：在HGD数据集上对CNN进行预训练。
2. 移除分类层：移除CNN的最终softmax分类层。
3. 特征连接：使用线性层将不同CNN的特征进行连接。
4. 自动编码器训练：将连接后的特征输入到自动编码器中进行训练和微调。

7.6 自动编码器的交叉编码

自动编码器的交叉编码过程包括受试者内训练和受试者间训练。具体操作如下：
- 受试者内训练 ：
1. 输入来自同一受试者和类别的特定会话的组合CNN特征集。
2. 自动编码器被强制从同一受试者和类别的另一个会话中重建另一个试验。
3. 构建输入和目标试验对进行训练，增加训练样本。
- 受试者间训练 ：
1. 输入一个受试者的特征。
2. 自动编码器被强制重建同一类别的任何其他受试者的特征。
3. 对所有受试者的试验对进行训练，使自动编码器适应受试者之间的差异。

8. 模型性能提升的原因分析

8.1 不同架构CNN的优势

浅CNN（CNN - shallow）和深CNN（CNN - deep）在特征提取方面具有不同的优势：
- 浅CNN：使用较大的滤波器大小，可能更有效地学习特定的时间和空间特征，如FBCSP方法。
- 深CNN：适合提取通用的EEG特征，能够捕捉到更复杂的模式。

通过将这两种不同架构的CNN进行融合，可以充分发挥它们的优势，提高分类准确性。

8.2 特征融合的效果

特征融合能够将不同CNN提取的特征进行整合，构建更全面的特征向量。不同的CNN架构可能在提取不同类型的EEG特征方面有效，因此它们的融合可以帮助挖掘出更具代表性的特征，从而提高模型的泛化能力和分类性能。

8.3 交叉编码的作用

交叉编码自动编码器可以适应受试者之间的差异，并提供跨受试者的共同表示。在训练过程中，通过构建不同受试者和会话之间的试验对，自动编码器能够学习到更通用和稳健的特征，减少个体差异对分类结果的影响，从而提高受试者内和受试者间测试的性能。

9. 实际应用前景

9.1 脑机接口领域

本研究提出的方法在脑机接口领域具有广阔的应用前景。例如，在康复治疗中，通过准确分类EEG运动想象信号，可以帮助运动障碍患者更好地控制外部设备，如脑控机器人，实现康复训练和日常生活的辅助。

9.2 智能医疗保健

在智能医疗保健领域，该方法可以用于实时监测患者的大脑状态，如癫痫发作的预测。通过对EEG信号的准确分类，能够及时发现异常情况，为患者提供及时的治疗和干预。

9.3 智能城市环境

在智能城市环境中，该方法可以作为一种认知系统，帮助利益相关者使用运动想象信号进行通信和控制设备。例如，通过脑机接口技术，用户可以通过大脑信号控制智能家居设备，提高生活的便利性和智能化程度。

10. 未来研究方向

10.1 模型优化

进一步优化CNN模型和融合方法，探索更适合EEG分类的架构和参数。例如，尝试不同的激活函数、优化算法和正则化方法，以提高模型的性能和稳定性。

10.2 数据利用

扩大数据集的规模和多样性，收集更多不同类型的EEG数据，包括不同年龄段、不同疾病状态的患者数据。这有助于提高模型的泛化能力，使其在更广泛的应用场景中发挥作用。

10.3 跨领域应用

探索该方法在其他领域的应用，如情感识别、认知状态监测等。通过将EEG分类技术与其他领域的知识相结合，可以开发出更多创新的应用产品。

10.4 实时性改进

提高模型的实时处理能力，使其能够在实际应用中快速准确地分类EEG信号。这对于一些对实时性要求较高的应用场景，如脑控游戏、实时康复训练等至关重要。

11. 总结与展望

本研究通过提出多层CNN特征融合和交叉编码技术，有效地提高了EEG运动想象分类的准确性。实验结果表明，该方法在不同具有挑战性的数据集上优于最先进的机器学习和深度学习方法，具有良好的泛化能力和稳定性。

在未来，随着技术的不断发展和数据的不断积累，相信该方法将在脑机接口、智能医疗保健等领域发挥更大的作用。同时，通过不断的研究和改进，有望进一步提高模型的性能和应用范围，为人类的健康和生活带来更多的便利和福祉。

流程图

graph LR
    A[未来研究方向] --> B[模型优化]
    A --> C[数据利用]
    A --> D[跨领域应用]
    A --> E[实时性改进]
    B --> F[探索新架构和参数]
    C --> G[扩大数据集规模和多样性]
    D --> H[结合其他领域知识开发新产品]
    E --> I[提高实时处理能力]

关键要点总结

1. 分析了CNN设计、卷积操作、预训练、训练技术、特征融合和交叉编码等技术细节。
2. 探讨了模型性能提升的原因，包括不同架构CNN的优势、特征融合的效果和交叉编码的作用。
3. 阐述了该方法在脑机接口、智能医疗保健和智能城市环境等领域的应用前景。
4. 提出了未来研究方向，包括模型优化、数据利用、跨领域应用和实时性改进。