走在深度学习前沿的小宋

该文提出了一种迭代加权稀疏群套索（iWSGL）模型，用于优化基于CSP（CSP）的高维特征，从而进一步提高运动意象的解码精度。具体而言，利用亲和传播（AP）聚类算法，根据高维特征之间的底层关系，自适应地将高维特征划分为多个组。为了评估各组内单个特征的显著性和群本身的整体显著性，提出了一种基于条件熵的权重计算方法。利用权重和特征结构信息，在迭代稀疏群套索（iSGL）框架内设计了加权稀疏回归模型，共同优化了基于CSP的高维特征。

受脑梗死神经生理特征的启发，本文提出了一种新的用于脑梗死分类的Filter-Bank卷积网络(FBCNet)。FBCNet采用多视图数据表示和空间滤波来提取光谱空间判别特征。这种多阶段方法可以在训练数据有限的情况下有效地训练网络。更重要的是，在FBCNet中，我们提出了一种新的方差层，可以有效地聚合脑电时域信息。

由于采集的脑电信号信噪比低，准确解码意图具有挑战性，解码原始脑电信号更具挑战性。目前，没有深度学习在解码原始脑电信号时实现高分类性能的方法。我们提出了一种新的用于解码MI EEG信号的端到端网络，即紧凑型多分支一维卷积神经网络（CMO-CNN），无需使用原始EEG信号进行滤波等预处理。

由于分类算法精度和稳定性差，MI系统在实践中仍然具有挑战性。因此，我们提出了一种二维卷积神经网络长短期记忆（2D CNN-LSTM）混合算法来对MI任务中的脑电进行分类。我们将脑电信号转换为时间序列段，然后通过二维CNN提取每个段中不同脑电通道之间的连接特征，最后将特征向量发送到LSTM网络进行训练。

受生成对抗网络（GAN）的启发，本研究旨在提出一种基于Wasserstein距离的改进域适应网络，该网络利用来自多个受试者（源域）的现有标记数据来提高单个受试者（目标域）的MI分类性能。具体来说，我们提出的框架由三个组件组成，包括特征提取器、域鉴别器和分类器。特征提取器采用注意力机制和方差层来提高对从不同MI类别中提取的特征的区分。接下来，领域鉴别器采用Wasserstein矩阵来测量源域与目标域之间的距离，并通过对抗学习策略对齐源域和目标域的数据分布。最后，分类器使用从源域获取的知识来预测目标域中的标签。

前大多数方法没有考虑空间、时间和频谱域的脑电特征信息，这些模型的结构不能有效地提取判别特征，导致分类性能有限。针对这一问题，我们提出了一种新的文本运动图像脑电判别方法，即基于小波的时间-频谱-注意力相关系数（WTS-CC），以同时考虑这些特征及其在空间、脑电通道、时间和频谱领域的权重。

获取脑电图 （EEG） 数据通常既费时又费力且成本高昂，这给训练功能强大但数据要求高的深度学习模型带来了实际挑战。本研究提出了一种基于周期一致性对抗网络（CycleGAN）的替代脑电数据生成系统，该系统可以扩展训练数据的数量。本研究使用基于修正S变换（MST）的EEG2Image将脑电数据转换为脑电形貌。该方法保留了脑电信号的频域特性和空间信息。然后，使用CycleGAN学习和生成中风患者的运动意象脑电图数据。

本研究提出了一种基于MI和P300的新型混合BCI范式。在这个范式中，受试者被指示想象按照屏幕上显示的所需汉字的闪光顺序书写汉字。与事件相关的不同步/同步 （ERD/ERS） 现象是通过基于一个人的想象力的写作产生的。同时，P300 电位由每个冲程的闪光唤起。此外，该文提出了一种P300和MI分类的融合方法，通过可靠的MI分类来纠正不可靠的P300分类。

MI-EEG信号的高性能解码能力是影响行业发展的关键问题。然而，由于低信噪比和受试者间的变异性，解码 MI-EEG 信号具有挑战性。针对上述核心问题，本文提出了一种新的端到端网络，即融合多分支一维卷积神经网络（EEG-FMCNN），无需预处理即可解码MI-EEG信号。多分支一维卷积的利用不仅表现出一定程度的噪声容差，而且在一定程度上解决了受试者间变异性的问题。这归因于多分支架构能够从不同频段捕获信息，从而能够建立最佳的卷积尺度和深度。

深度学习网络已成功应用于传递函数，使模型可以从源域适应到不同的目标域。本研究利用多个卷积神经网络对脑卒中患者的脑电图（EEG）进行解码，设计有效的运动意象（MI）脑机接口（BCI）系统。这项研究引入了 “微调” 来传输模型参数并减少训练时间。所提出的框架的性能是通过模型的两类MI识别能力来评估的。

利用来自多个域的特征可以成为MI模式分类的特征提取的更有效方法，因为它可以提供更全面的信息集，而传统的单一特征提取方法可能无法捕获。该文提出一种基于均匀流形近似和投影（UMAP）的运动影像脑电信号多特征融合算法。脑功能网络和共同空间模式（CSP）最初被提取为特征。随后，利用UMAP对提取的多域特征进行融合，生成具有改进判别能力的低维特征。最后，将k最近邻（KNN）分类器应用于低维空间。

为了解决受试者之间的样本差异这个问题，基于领域适应的跨学科场景得到了广泛的研究。然而，现有的方法经常会遇到目标域中冗余特征和伪标签预测不正确等问题。为了实现高性能的跨学科MI-EEG分类，本文提出了一种名为基于双选的知识迁移学习（DS-KTL）的新方法。DS-KTL 从源域中选择两个判别特征，并从目标域中校正伪标签。DS-KTL方法首先对样本进行质心对齐，然后采用黎曼切线空间特征进行特征自适应。在特征适应过程中，通过正则化执行对偶选择，从而增强迭代期间的分类性能。

本文考虑了离线无监督跨受试者脑电图 （EEG） 分类，即我们标记了来自一个或多个源受试者的 EEG 试验，但仅标记了来自目标受试者的未标记 EEG 试验。我们提出了一种新颖的流形嵌入式知识转移（MEKT）方法，该方法首先在黎曼流形中对齐脑电图试验的协方差矩阵，提取切线空间中的特征，然后通过最小化源域和目标域之间的联合概率分布偏移来执行域适应，同时保留它们的几何结构。MEKT可以应对一个或多个源域，并且可以有效地计算。我们还提出了一种域可转移性估计 （DTE） 方法，以识别最有益的源域，以防存在大量源域。

与之前MI中的MSTL方法不同，我们的方法对每对受试者的数据分布进行对齐，然后通过决策融合对结果进行整合。除此之外，我们还设计了一个跨学科MI解码框架来验证这两种MSTL算法的有效性。它主要由三个模块组成：黎曼空间中的协方差矩阵质心对齐，切线空间映射后欧几里得空间中的源选择，以减少负传输和计算开销，以及通过MSTJM或wMSTJM进一步进行分布对齐。

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`CA`。

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`EA`。

探索脑电图（EEG）信号的有效信号特征是脑机接口（BCI）研究中的一个重要课题，其结果可以揭示引发脑电变化的运动意图，在脑电数据特征提取方面具有广阔的研究前景。与以往单纯基于卷积神经网络的脑电解码方法相比，基于群智能理论和虚拟对抗训练的端到端脑电信号解码算法，结合变压器机制对传统的卷积分类算法进行了优化。研究了自注意机制的使用，以将脑电信号的感受野扩展到全局依赖性，并通过优化模型中的全局参数来训练神经网络。

下肢运动意象 （MI） 分类是脑机接口 （BCI） 中一个具有挑战性的研究课题，因为人脑中左右下肢运动的生理表征过于接近。此外，运动想象信号具有严重的受试者特异性特征。以往研究中针对特定受试者设计的分类方案无法满足通用脑机接口系统中跨受试者分类的要求。因此，本研究旨在建立跨受试者的下肢运动想象分类方案。提出了3种新的子带级联公共空间模式（SBCCSP）算法，以低冗余提取代表性特征。

近年来，基于深度神经网络的迁移学习（TL）在基于脑电图（MI）的脑机接口（BCI）中表现出优异的性能。然而，由于预训练模型的准备时间长，以及源域选择的随意性，在不同的数据集和模型上使用深度迁移学习仍然具有挑战性。在本文中，我们提出了一种基于跨学科心肌梗死脑电图的脑机接口的多向迁移学习（MDTL）策略。此策略利用从多源域到目标域以及从一个多源域到另一个多源域的数据。此策略与模型无关，因此可以快速部署在现有模型上。

本研究提出了一种半监督多源迁移（SSMT）学习模型来解决上述问题;该模型学习信息和域不变表示，以解决跨主题的 MI-EEG 分类任务。具体而言，该文提出了一种动态转移加权模式，通过整合从多源域派生的加权特征来获得最终预测。

基于脑电图的脑机接口开发的一个重大障碍是与受试者无关的运动图像数据的分类，因为脑电图数据非常个性化。卷积神经网络 （CNN） 等深度学习技术已经说明了它们对==特征提取==的影响，以提高分类准确性。在本文中，我们提出了一个多分支（五个分支）二维卷积神经网络，该网络对每个分支都使用多个超参数。所提出的模型在跨学科分类方面取得了可喜的结果。

随着深度学习的普及，基于特征提取器和分类器的运动意象脑电图（MI-EEG）识别表现良好。然而，大多数模型提取的特征没有足够的区分性，仅限于特定主题分类。我们提出了一种新的模型，基于`度量的空间滤波变压器（MSFT）`，该模型利用加性角裕量损失来强制实施深度模型，以提高类间可分离性，同时增强类内的紧凑性。此外，在模型中应用了一种称为脑电图金字塔的数据增强方法。

针对单肢不同运动的基于运动意象的脑机接口（MI-BCI）==指令集数量有限==，难以满足实际应用需求。因此，==设计单肢、多类别的运动意象（MI）范式==并对其进行有效解码是MI-BCI未来发展的重要研究方向之一。此外，MI-BCI 的主要挑战之一是==难以对不同个体的大脑活动进行分类（`主要是跨被试分类任务存在难题`）。本文提出迁移数据学习网络（TDLNet）来实现==多类上肢运动意象的跨主体意图识别。

近段时间，之前的老板让我带下小师弟。然后按照给照小师弟的项目指导，正好出这篇文章来帮助那些想要深度学习入门或者刚接触深度学习的人。感谢！！！

作者创建了一个`简单的分层视觉变压器`，通过现有的视觉变压器并去除其所有的信号，同时通过MAE预训练为模型提供空间偏差。由此产生的架构`Hiera`比目前在图像识别任务上的工作更有效，并且在视频任务上超越了`最先进的技术`。

本篇文章所提出的新的`联合令牌修剪和压缩模块`（TPS） ，是为了解决 `由修剪策略引起的错误可能导致重大的信息丢失` 的问题。首先，TPS通过`剪枝`得到保留子集和剪枝子集。其次，TPS通过`单向最近邻匹配`和`基于相似性`的`融合`步骤，将被修剪的令牌信息压缩为部分保留令牌。

轻量级卷积神经网络(CNN) 在图像领域得到了广泛的应用。他们的`空间归纳偏差`使他们能够在不同的视觉任务中学习参数更少的表征。然而，这些网络在空间上是`局部`的。为了学习`全局表征`，采用了基于自注意的视觉变换(ViTs)。与CNN不同，`ViT` 是`重量级`的。因此，作者提出了`MobileViT`网络，将 `CNN` 和 `ViT` 的优势结合起来。在`轻量的基础`上具有可以`处理全局信息`的能力。

实验结果表明，即使没有对模型进行微调，DiffRate也可以与以前最先进的令牌压缩方法相当或更好的方法想媲美。此外，DiffRate具有很高的数据效率，因为它仅使用1,000张图像就可以确定适当的压缩率。总的来说，所提出的DiffRate框架通过揭示压缩率的重要性，为令牌压缩提供了一个新的视角。

masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。

DeiT模型（8600万参数）仅用一台 GPU 服务器在 53 hours train，20 hours finetune，仅使用 ImageNet 就达到了 84.2 top-1 准确性，而无需使用任何外部数据进行训练，性能与最先进的卷积神经网络（CNN）可以抗衡。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了方法，使得在视觉领域训练得又快又好。

的核心设计是，它通过将Multi-head分成并行组，水平和垂直条纹进行Self-Attention。这种设计可以有效地扩大一个Transformer块内每个token的注意区域，并且随着stage的加深，SW宽度变宽感受野会迅速扩大。另一方面，将局部增强的位置编码引入到CSWin Transformer中，用于下游任务。在有限的计算复杂度下，在各种视觉任务上实现了先进的性能。如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

总结来说，VanillaNet是一种十分简洁但强大的计算机视觉网络架构，使用简单的卷积架构就可以达到SOTA的性能。自从被引入视觉领域后，注意力机制被认为是十分重要且有效的结构设计，然而ConvNeXt通过更好的性能重振了卷积网络的信心。事实证明，单纯的卷积结构也可以达到SOTA的精度。

视皮层神经元的感受野大小受刺激的调节，即对不同刺激，卷积核的大小应该不同，但在构建CNN时一般在同一层只采用一种卷积核，很少考虑因图片大小不同采用不同卷积核。于是提出了SKNet。在SKNet中，不同大小的感受视野（卷积核）对于不同尺度的目标会有不同的效果。尽管在Inception中使用多个卷积核来适应不同尺度图像，但是卷积核权重相同，参数就是被计算好的了。而SKNet对不同输入使用的卷积核感受野不同，参数权重也不同，可以根据输入大小自适应的进行处理。

这篇文章主要介绍Swin-Transformer原理是如何与对应的代码进行匹配的。理解论文更多的是先以总的方式理解论文的结构。然后一点一点去理解细节，建议理解这篇文章的时候可以同上篇介绍原理的文章一同理解，效果会更好。最后，如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得的荣誉称号。虽然在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的权衡，提出了Swin-Transformer结构。

YOLOv5介绍（一）：网络结构

YOLOv2通过k-means来获取anchor boxes

YOLOv1是单阶段目标检测方法，不需要像Faster RCNN这种两阶段目标检测方法一样，需要生成先验框。

CSP-Darknet53无论是其作为CV Backbone，还是说它在别的数据集上取得极好的效果。与此同时，它与别的网络的适配能力极强。

CSPNet全称是Cross Stage Partial Networks，也就是跨阶段局部网络。CSPNet解决了其他大型卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，既保证了推理速度和准确率，又减小了模型尺寸。