走在深度学习前沿的小宋

脑电信号常用问题介绍

由于外部因素和个体差异，脑电图 （EEG） 数据具有`跨会话和跨受试者的可变性`。因此，跨域脑电信号识别仍然具有挑战性。为了解决这个问题，我们在本文中提出了一种==特征关系对比网络 （FRCN）==。首先，我们使用`协方差矩阵`来`对齐`源域和目标域之间的数据分布，以减少差异。其次，我们通过`预训练的嵌入网络提取特征`表示，并使用非线性变换来对齐特征的相关性。然后，我们提出了一种`源域选择`方法，通过`利用来自不同域的静息态数据和选定的适当源域数`据进行微调，来`衡量域之间运动相关数据分布的相似性`。

电极记录了`神经元的混合活动`。如果将不同的特征直接嵌入到同一个特征空间中，则不考虑不同神经元区域的`特异性`和`互性特征`，这会`降低特征本身的表达能力`。我们提出了一种`跨通道特定互特征迁移学习 （CCSM-FT） 网络模型`来解决这个问题。多分支网络提取大脑`多区域信号的特定`和`相互特征`。`有效的训练技巧`用于最大限度地区分这两种特征。

虽然基于神经网络的方法可以有效地提取特征，但它们经常会遇到数据集泛化性差、预测波动性高、模型可解释性低等问题。为了解决这些局限性，我们提出了一种新型的轻量级多维注意力网络，称为LMDA-Net。通过结合两个专门为脑电信号设计的新型注意力模块，即通道注意力模块和深度注意力模块，LMDA-Net能够有效地集成来自多个维度的特征，从而提高各种BCI任务的分类性能。

脑电图信号通过特征提取和分类进行识别。本研究提出了一种基于PCA（主成分分析）和FLD（Fisher's Linear Discriminant）的混合KELM（Kernel Extreme Learning Machine）方法，用于脑电图数据的MI BCI分类。使用BCI竞争数据集III演示了该方法的性能和结果，并与当代方法进行了比较。所提方法的准确率为96.54%。

在这项研究中，我们提出了一种可以保留脑电图数据多变量信息的时空光谱特征表示的方法。具体来说，通过结合主题优化和与主题无关的光谱滤波器，并将过滤后的数据堆叠到张量中来构建三维特征图。此外，使用我们的 3-D-CNN 框架实现了逐层分解模型，以确保在单次试验的基础上获得可靠的分类结果。

脑电图（EEG）信号的准确二元分类对于运动意象（MI）脑机接口（BCI）系统的开发是一项具有挑战性的任务。本研究提出了两种滑动窗口技术来增强MI的二元分类。第一个计算所有滑动窗口的预测序列的最长连续重复 （LCR），并命名为 SW-LCR。第二个计算所有滑动窗口的预测序列的模式，并命名为 SW-Mode。公共空间模式 （CSP） 用于提取特征，线性判别分析 （LDA） 用于对每个时间窗进行分类。

深度学习的运用提高了运动意象（MI）的分类精度，但脑机接口（BCI）应用中标定时间长的问题仍未得到解决。为了解决这个问题，我们提出了一种新的黎曼几何和深度域自适应网络（RGDDANet）用于MI分类。具体而言，设计了两个一维卷积从脑电信号中提取时间和空间特征，然后利用空间协方差矩阵将提取的特征映射到黎曼流形进行处理。为了对齐黎曼流形上的源特征和目标特征分布，我们提出了一种对称正定（SPD）矩阵平均差异损失（SMMDL）来最小化两个域之间的距离。

以往的研究主要集中在开发复杂的网络架构设计上，忽视了源数据质量的影响和分布外目标数据问题带来的挑战。为了解决这些局限性，我们认为，以目标数据为中心的空间，加上精心挑选的一组高质量源数据，可以显着增强发展议程。在这项研究中，我们提出了一种称为 GITGAN 的无监督端到端受试者适应方法，这是一种用于脑电图运动图像分析的生成性受试者间转移。我们还提出了一种实用有效的源数据选择方法，进一步提高了性能。

脑电图数据的复杂性、可变性和低信噪比在解码这些信号方面提出了重大挑战，尤其是在以与受试者无关的方式解码时。为了克服这些挑战，我们提出了一种基于Transformer的方法，该方法采用自注意力过程来提取时间和空间域中的特征。为了在 MI EEG 通道之间建立空间相关性，自注意力模块通过平均所有通道的特征来定期更新每个通道。这种加权平均可提高分类准确性，并消除手动选择通道产生的伪影。此外，时间自注意力机制将全局顺序信息编码到每个采样时间步长的特征中，从而可以从MI EEG数据中提取时域中的高级时间属性。

提高基于稳态视觉诱发电位的脑机接口（SSVEP-BCI）系统的解码精度和信息传递速率（ITR），缩小主体间方差是SSVEP-BCI系统应用的关键。为此，我们提出了一种基于深度迁移学习的SSVEP频域解码方法，以提高解码性能。

在本文中，我们展示了一个紧凑的卷积神经网络（Compact-CNN），它只需要原始的EEG信号进行自动特征提取，就可以用来解码12类SSVEP数据集中的信号，而不需要用户特定的校准。主要结果。Compact-CNN展示了大约80%的受试者平均准确率，优于当前使用规范相关分析（CCA）和组合CCA的最先进的手工制作方法。

脑机接口（BCI）的一个关键问题是以异步方式检测有意控制（IC）状态和非有意控制（NC）状态。此外，对于稳态视觉诱发电位 （SSVEP） BCI 系统，IC 状态中存在多个状态（子状态）。现有的识别方法依赖于阈值技术，难以实现高准确率，即同时实现高真阳性率和低假阳性率。为了解决这个问题，我们首次提出了一种新型卷积神经网络（CNN）来检测SSVEP-BCI系统中的IC和NC状态。

该文提出了一种迭代加权稀疏群套索（iWSGL）模型，用于优化基于CSP（CSP）的高维特征，从而进一步提高运动意象的解码精度。具体而言，利用亲和传播（AP）聚类算法，根据高维特征之间的底层关系，自适应地将高维特征划分为多个组。为了评估各组内单个特征的显著性和群本身的整体显著性，提出了一种基于条件熵的权重计算方法。利用权重和特征结构信息，在迭代稀疏群套索（iSGL）框架内设计了加权稀疏回归模型，共同优化了基于CSP的高维特征。

受脑梗死神经生理特征的启发，本文提出了一种新的用于脑梗死分类的Filter-Bank卷积网络(FBCNet)。FBCNet采用多视图数据表示和空间滤波来提取光谱空间判别特征。这种多阶段方法可以在训练数据有限的情况下有效地训练网络。更重要的是，在FBCNet中，我们提出了一种新的方差层，可以有效地聚合脑电时域信息。

受跨频耦合概念及其与不同行为任务的相关性的启发，该文提出一种轻量级交互式频率卷积神经网络（IFNet）来探索跨频交互以增强MI特征的表示。IFNet首先分别提取低频段和高频段的光谱空间特征。然后，使用逐个元素加法操作学习两个波段之间的相互作用，然后进行时间平均池化。结合作为正则化器的重复试验增强，IFNet为最终的MI分类提供了光谱-时空-鲁棒的特征。

由于采集的脑电信号信噪比低，准确解码意图具有挑战性，解码原始脑电信号更具挑战性。目前，没有深度学习在解码原始脑电信号时实现高分类性能的方法。我们提出了一种新的用于解码MI EEG信号的端到端网络，即紧凑型多分支一维卷积神经网络（CMO-CNN），无需使用原始EEG信号进行滤波等预处理。

由于分类算法精度和稳定性差，MI系统在实践中仍然具有挑战性。因此，我们提出了一种二维卷积神经网络长短期记忆（2D CNN-LSTM）混合算法来对MI任务中的脑电进行分类。我们将脑电信号转换为时间序列段，然后通过二维CNN提取每个段中不同脑电通道之间的连接特征，最后将特征向量发送到LSTM网络进行训练。

受生成对抗网络（GAN）的启发，本研究旨在提出一种基于Wasserstein距离的改进域适应网络，该网络利用来自多个受试者（源域）的现有标记数据来提高单个受试者（目标域）的MI分类性能。具体来说，我们提出的框架由三个组件组成，包括特征提取器、域鉴别器和分类器。特征提取器采用注意力机制和方差层来提高对从不同MI类别中提取的特征的区分。接下来，领域鉴别器采用Wasserstein矩阵来测量源域与目标域之间的距离，并通过对抗学习策略对齐源域和目标域的数据分布。最后，分类器使用从源域获取的知识来预测目标域中的标签。

前大多数方法没有考虑空间、时间和频谱域的脑电特征信息，这些模型的结构不能有效地提取判别特征，导致分类性能有限。针对这一问题，我们提出了一种新的文本运动图像脑电判别方法，即基于小波的时间-频谱-注意力相关系数（WTS-CC），以同时考虑这些特征及其在空间、脑电通道、时间和频谱领域的权重。

获取脑电图 （EEG） 数据通常既费时又费力且成本高昂，这给训练功能强大但数据要求高的深度学习模型带来了实际挑战。本研究提出了一种基于周期一致性对抗网络（CycleGAN）的替代脑电数据生成系统，该系统可以扩展训练数据的数量。本研究使用基于修正S变换（MST）的EEG2Image将脑电数据转换为脑电形貌。该方法保留了脑电信号的频域特性和空间信息。然后，使用CycleGAN学习和生成中风患者的运动意象脑电图数据。

本研究提出了一种基于MI和P300的新型混合BCI范式。在这个范式中，受试者被指示想象按照屏幕上显示的所需汉字的闪光顺序书写汉字。与事件相关的不同步/同步 （ERD/ERS） 现象是通过基于一个人的想象力的写作产生的。同时，P300 电位由每个冲程的闪光唤起。此外，该文提出了一种P300和MI分类的融合方法，通过可靠的MI分类来纠正不可靠的P300分类。

MI-EEG信号的高性能解码能力是影响行业发展的关键问题。然而，由于低信噪比和受试者间的变异性，解码 MI-EEG 信号具有挑战性。针对上述核心问题，本文提出了一种新的端到端网络，即融合多分支一维卷积神经网络（EEG-FMCNN），无需预处理即可解码MI-EEG信号。多分支一维卷积的利用不仅表现出一定程度的噪声容差，而且在一定程度上解决了受试者间变异性的问题。这归因于多分支架构能够从不同频段捕获信息，从而能够建立最佳的卷积尺度和深度。

深度学习网络已成功应用于传递函数，使模型可以从源域适应到不同的目标域。本研究利用多个卷积神经网络对脑卒中患者的脑电图（EEG）进行解码，设计有效的运动意象（MI）脑机接口（BCI）系统。这项研究引入了 “微调” 来传输模型参数并减少训练时间。所提出的框架的性能是通过模型的两类MI识别能力来评估的。

利用来自多个域的特征可以成为MI模式分类的特征提取的更有效方法，因为它可以提供更全面的信息集，而传统的单一特征提取方法可能无法捕获。该文提出一种基于均匀流形近似和投影（UMAP）的运动影像脑电信号多特征融合算法。脑功能网络和共同空间模式（CSP）最初被提取为特征。随后，利用UMAP对提取的多域特征进行融合，生成具有改进判别能力的低维特征。最后，将k最近邻（KNN）分类器应用于低维空间。

为了解决受试者之间的样本差异这个问题，基于领域适应的跨学科场景得到了广泛的研究。然而，现有的方法经常会遇到目标域中冗余特征和伪标签预测不正确等问题。为了实现高性能的跨学科MI-EEG分类，本文提出了一种名为基于双选的知识迁移学习（DS-KTL）的新方法。DS-KTL 从源域中选择两个判别特征，并从目标域中校正伪标签。DS-KTL方法首先对样本进行质心对齐，然后采用黎曼切线空间特征进行特征自适应。在特征适应过程中，通过正则化执行对偶选择，从而增强迭代期间的分类性能。

本文考虑了离线无监督跨受试者脑电图 （EEG） 分类，即我们标记了来自一个或多个源受试者的 EEG 试验，但仅标记了来自目标受试者的未标记 EEG 试验。我们提出了一种新颖的流形嵌入式知识转移（MEKT）方法，该方法首先在黎曼流形中对齐脑电图试验的协方差矩阵，提取切线空间中的特征，然后通过最小化源域和目标域之间的联合概率分布偏移来执行域适应，同时保留它们的几何结构。MEKT可以应对一个或多个源域，并且可以有效地计算。我们还提出了一种域可转移性估计 （DTE） 方法，以识别最有益的源域，以防存在大量源域。

与之前MI中的MSTL方法不同，我们的方法对每对受试者的数据分布进行对齐，然后通过决策融合对结果进行整合。除此之外，我们还设计了一个跨学科MI解码框架来验证这两种MSTL算法的有效性。它主要由三个模块组成：黎曼空间中的协方差矩阵质心对齐，切线空间映射后欧几里得空间中的源选择，以减少负传输和计算开销，以及通过MSTJM或wMSTJM进一步进行分布对齐。

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`CA`。

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`EA`。

探索脑电图（EEG）信号的有效信号特征是脑机接口（BCI）研究中的一个重要课题，其结果可以揭示引发脑电变化的运动意图，在脑电数据特征提取方面具有广阔的研究前景。与以往单纯基于卷积神经网络的脑电解码方法相比，基于群智能理论和虚拟对抗训练的端到端脑电信号解码算法，结合变压器机制对传统的卷积分类算法进行了优化。研究了自注意机制的使用，以将脑电信号的感受野扩展到全局依赖性，并通过优化模型中的全局参数来训练神经网络。

下肢运动意象 （MI） 分类是脑机接口 （BCI） 中一个具有挑战性的研究课题，因为人脑中左右下肢运动的生理表征过于接近。此外，运动想象信号具有严重的受试者特异性特征。以往研究中针对特定受试者设计的分类方案无法满足通用脑机接口系统中跨受试者分类的要求。因此，本研究旨在建立跨受试者的下肢运动想象分类方案。提出了3种新的子带级联公共空间模式（SBCCSP）算法，以低冗余提取代表性特征。

近年来，基于深度神经网络的迁移学习（TL）在基于脑电图（MI）的脑机接口（BCI）中表现出优异的性能。然而，由于预训练模型的准备时间长，以及源域选择的随意性，在不同的数据集和模型上使用深度迁移学习仍然具有挑战性。在本文中，我们提出了一种基于跨学科心肌梗死脑电图的脑机接口的多向迁移学习（MDTL）策略。此策略利用从多源域到目标域以及从一个多源域到另一个多源域的数据。此策略与模型无关，因此可以快速部署在现有模型上。

本研究提出了一种半监督多源迁移（SSMT）学习模型来解决上述问题;该模型学习信息和域不变表示，以解决跨主题的 MI-EEG 分类任务。具体而言，该文提出了一种动态转移加权模式，通过整合从多源域派生的加权特征来获得最终预测。

基于脑电图的脑机接口开发的一个重大障碍是与受试者无关的运动图像数据的分类，因为脑电图数据非常个性化。卷积神经网络 （CNN） 等深度学习技术已经说明了它们对==特征提取==的影响，以提高分类准确性。在本文中，我们提出了一个多分支（五个分支）二维卷积神经网络，该网络对每个分支都使用多个超参数。所提出的模型在跨学科分类方面取得了可喜的结果。

随着深度学习的普及，基于特征提取器和分类器的运动意象脑电图（MI-EEG）识别表现良好。然而，大多数模型提取的特征没有足够的区分性，仅限于特定主题分类。我们提出了一种新的模型，基于`度量的空间滤波变压器（MSFT）`，该模型利用加性角裕量损失来强制实施深度模型，以提高类间可分离性，同时增强类内的紧凑性。此外，在模型中应用了一种称为脑电图金字塔的数据增强方法。

针对单肢不同运动的基于运动意象的脑机接口（MI-BCI）==指令集数量有限==，难以满足实际应用需求。因此，==设计单肢、多类别的运动意象（MI）范式==并对其进行有效解码是MI-BCI未来发展的重要研究方向之一。此外，MI-BCI 的主要挑战之一是==难以对不同个体的大脑活动进行分类（`主要是跨被试分类任务存在难题`）。本文提出迁移数据学习网络（TDLNet）来实现==多类上肢运动意象的跨主体意图识别。

现在的心理学实验设计的`越来越复杂`！！！而且我是在我们实验室`买了Eprime2`的软件的情况下还去学Psychopy！！！设计视频范式时被告知必须使用Eprime3，不得不学习免费版的Psychopy.....

本篇文章主要讲述与Net Station软件相连接时，如何打marker。对于其它关于Eprime实验如何设计，网上有很多参考且与Net Station软件无关，不影响正常使用。唯一需要注意的就是Eprime打marker，Net Station软件是与众不同的！本系列内容所有操作方式均在Net Station软件上进行，数据采集电脑为MAC，运行范式电脑为Windows。

EEG 公开数据集介绍（包含各种分类任务下的EEG数据集和对应的下载链接）