一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。

这篇论文提出了一种新型去雨网络 TransMamba，结合频域 Transformer 和 Mamba 状态空间模型两种分支，有效建模雨迹的长距离依赖与频域特征。通过双分支特征融合与频谱增强机制，TransMamba 在多个数据集上显著优于现有方法。

本工作提出了一个非常有意义的观点：线性注意力虽然高效，但其表达能力受限于“低秩”问题。为此，作者引入了“秩增强”机制，既保留了线性复杂度，又提升了建模能力，最终构建的 RAVLT 模型在 ImageNet 上表现优异，展示了线性注意力在视觉领域进一步发展的可能性。

LoFTR的提出，是将Transformer模型的注意力机制在特征匹配方向的应用，Transformer的提取特征的机制，在自身进行，本文提出可以的两张图像之间进行特征计算，非常适合进行特征匹配。

实际上是在医学领域的运行，只是在这基础上增加了门机制，实际上也就是在原来Axial-attention基础之上增加权重机制，虚弱位置信息对于数据的影响，发现虚弱之后的效果比Axial-Attention机制效果更好。

swintransformer主要是在transformer的基础上引入类似于cnn的下采样，图片大小成倍减少，通道数成倍增加，使特征进行融合，减少了计算量其次的特点就是使用W-MSA和SW-MSA，两个为一组来进行特征提取。引入窗口和分层机制，在进行下采样，多层叠加提取特征。

举例源码中使用multi-scale都是四层。

紧接着是decoder，初始化object queries，都初始化为0，同时加上位置信息,首先q自己先进行self-attention，更新q，再由decoder提供q，encoder提供k和v，来进行multi-attention，整合多维度的信息，同时也是做多次，获得多个输出特征结果，这样的过程回经过6次。在encoder中进行embedding，将特征信息转换成多维度向量，通过transformer的self-attention机制，生成特征k，v。使用的数据集是coco数据集，现成的使用。

将一张图的多个区域进行卷积，将每个区域转换成多维度向量（多少卷积核就有多少维向量）