11、基于深度学习的脑电情感识别与跨模态检索的数据增强方法

基于深度学习的脑电情感识别与跨模态检索的数据增强方法

1. 脑电情感识别数据增强实验

1.1 数据增强对不同模型在SJTU数据集上的影响

在脑电情感识别研究中，输入训练数据量的增加对支持向量机（SVM）的识别准确率提升效果不明显。从相关实验结果可知，增加输入训练数据量后，SVM的准确率从74.2%降至73.4%，这是因为SVM对训练数据数量不敏感。

而对于卷积神经网络（如LeNet和ResNet），数据增强能有效提高其准确率。ResNet的输入样本仅包含脑电信号三个频段的微分熵（DE）特征，在数据增强后，其准确率从34.2%提升到75.0%，优于LeNet（从49.6%提升到74.3%）。这表明数据增强是解决训练样本不足问题的有效方法。

1.2 高低频段对情感识别的贡献

研究还探索了高低频段对情感识别的贡献。高频段包括α、β和γ频段，低频段包括δ、θ和α频段。在ResNet模型上，数据增强前后低频段的情感识别准确率分别为33.3%和57.6%，均低于高频段。

1.3 MAHNOB - HCI数据集实验

MAHNOB - HCI数据集是用于情感识别和隐式标记的多模态数据集，包含根据国际10 - 20系统通过脑电帽记录的32通道脑电数据。实验前，需对原始脑电数据进行去伪迹处理，并使用平均参考作为虚拟参考。根据受试者在效价空间的自我报告感受，将脑电片段分为负性（1 - 3）、中性（4 - 6）和正性（7 - 9）三类，分别有188、208和131个样本。

为验证数据增强方法的通用性，在该数据集上对浅层模型（SVM）和深层模型（ResNet）进行实验，并比较数据增强前后的性能。