m0_58508552的博客

【即插即用完整代码】CVPR 2025 川大：序列洗牌注意力，高效聚合信息，快速涨点，发表论文！

【即插即用完整代码】CVPR 2025 自适应矩形卷积模块，快速涨点，发表论文！

【即插即用完整代码】ACCV 2024 基于小波变换的通道Mamba块，捕获全局信息，快速涨点，发表论文！

【即插即用完整代码】新方法归一化空间与通道注意力，无额外参数，轻量且高效，超越CBAM，快速涨点，发表论文！

【即插即用完整代码】arXiv 2025 轻量级双分支Mamba卷积，提取全局和局部信息，快速涨点，发表论文！

【即插即用完整代码】ICML 2024 重参数化BatchNorm，可直接替换现有归一化方法，快速涨点，发表论文！

【即插即用完整代码】IEEE 2024 双池化时序注意力模块DPTAM，即插即用，即用即涨点！

【即插即用完整代码】Elsevier 2023 轻量级多维协作注意力Mult-Collaborative-Attention，模型快速涨点，发表论文！

【即插即用完整代码】最新的局部特征提取能力和全局特征建模能力~ICLR MobileViTAttention！

【即插即用完整代码】ICLR 2024 递归泛化自注意力RG-SA，低成本捕获全局空间信息！模型快速涨点，发表论文！

【即插即用完整代码】最新多模态条件注意力模块TabAttention，快速发表论文，模型快速涨点!

【即插即用完整代码】arXiv2025卷积加法自注意力CASAtt，轻量且高效，模型快速涨点！

【即插即用完整代码】AAAI 2025 新型风车形卷积PConv，大感受野，可替换标准卷积！

【即插即用完整代码】ICCV 2023无偏快速傅里叶卷积UFFConv，有效地捕获频率信息！

【即插即用完整代码】NeurIPS 2024显著提高分割性能！语义和空间自适应的分类器SSA-Seg！

【即插即用完整代码】AAAI 2024，Conv-Former注意力模块，用卷积实现Transformer效果！

【即插即用完整代码】CVPR 2024部分单头注意力SHSA，分类、检测和分割SOTA！

背景与动机：传统的多头注意力机制（Multi-Head Attention）是Transformer模型的核心组件，广泛应用于自然语言处理和计算机视觉任务中。尽管多头注意力通过使用多个注意力头提高了模型的准确度，但并非所有注意力头都同等重要。一些研究表明，许多注意力头可以被剪枝而不影响模型的准确度。方法介绍：作者提出了Mixture-of-Head（MoH）注意力机制，将注意力头视为Mixture-of-Experts（MoE）机制中的专家。

本文提出了一种名为Vision Permutator的新型MLP（多层感知机）类架构，用于视觉识别任务。该架构通过分别沿高度和宽度维度编码特征表示，捕获长距离依赖关系，同时保留精确的位置信息。与依赖于空间卷积或注意力机制的模型不同，Vision Permutator在不依赖这些机制的情况下，仅使用25M可学习参数就在ImageNet上达到了81.5%的Top-1准确率，优于大多数CNN和视觉Transformer模型。

本文介绍了一种简化的自注意力（SSAN）层，用于基于Transformer的端到端语音识别系统。该方法通过引入FSMN记忆块来替代传统Transformer模型中的投影层，以形成查询和键向量，从而减少模型参数并保持识别性能。

本文提出了一种基于频域的高效Transformer方法，通过元素乘积操作代替空间域中的矩阵乘法来估计scaled dot-product attention，从而降低复杂度。我们开发了一种高效的频域自注意力求解器（FSAS），它利用快速傅里叶变换（FFT）在频域中估计Fq和Fk之间的相关性，从而避免了空间域中的复杂矩阵乘法。未来的工作将探索该方法在其他图像处理任务中的应用。在GoPro数据集上的比较显示，我们的方法生成的去模糊图像具有更高的PSNR和SSIM值，并且视觉效果更佳。

本文提出了一种新型的轻量级且有效的注意力方法，名为Pyramid Squeeze Attention (PSA)模块。通过在ResNet的瓶颈块中替换3x3卷积，得到了一种新的表示块，称为Efficient Pyramid Squeeze Attention (EPSA)。EPSA块可以作为即插即用组件添加到已建立的骨干网络中，显著提高模型性能。基于此，本文开发了一种简单高效的骨干架构EPSANet，通过堆叠这些ResNet风格的EPSA块构建。