Arxiv 2024 | 基于混合Transformer-Mamba网络的单图像去雨

最新推荐文章于 2025-06-11 20:12:46 发布
最新推荐文章于 2025-06-11 20:12:46 发布
阅读量78 收藏
点赞数
分类专栏： 计算机顶会顶刊论文解读 文章标签： transformer 网络 深度学习 论文解读 计算机顶会 Arxiv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42722197/article/details/145077382
版权

论文信息

题目：A Hybrid Transformer-Mamba Network for Single Image Deraining
基于混合Transformer-Mamba网络的单图像去雨
作者：Shangguan Sun, Wenqi Ren, Juxiang Zhou, Jianhou Gan, Rui Wang, Xiaochun Cao
源码：https://github.com/sunshangquan/TransMamba

论文创新点

  1. 双分支混合Transformer-Mamba网络：论文提出了一种新颖的双分支混合Transformer-Mamba网络（TransMamba），结合了Transformer和Mamba的优势。Transformer分支通过频域自注意力机制捕捉全局依赖关系&#
了解本专栏 订阅专栏 解锁全文
前沿论文 Arxiv | 基于混合Transformer-Mamba网络的单图像去雨
zhangjiaofa的专栏
04-19 60
现有的去雨Transformer模型采用固定范围窗口或沿通道维度的自注意力机制，限制了非局部感受野的利用。针对这一问题，作者提出了一种新颖的双分支混合Transformer-Mamba网络，称为TransMamba，旨在有效捕捉长距离的雨纹相关依赖关系。基于雨纹退化和背景在频域中的不同特征先验，作者在第一个分支中设计了频带Transformer模块。自注意力机制在频域通道维度的组合中执行，以提高建模长距离依赖关系的能力。为了增强频率特定信息，作者提出了一个频域增强的前馈模块，用于在频域中聚合特征。
医图论文 Arxiv‘24 | UU-Mamba：用于心脏图像分割的不确定性感知U-Mamba
小白学视觉
01-06 212
生物医学图像分割对于准确识别和分析医学成像中的解剖结构至关重要，特别是在心脏磁共振成像（MRI）中。手动分割劳动密集、耗时且容易出错，突显了自动化方法的需求。然而，当前的机器学习方法面临过拟合和数据需求等挑战。为了解决这些问题，作者提出了一个新的UU-Mamba模型，将U-Mamba模型与Sharpness-Aware Minimization（SAM）优化器和不确定性感知损失函数集成在一起。SAM通过在损失景观中定位平坦的最小值来增强泛化能力，从而减少过拟合。
MambaVision: 混合Mamba-Transformer视觉主干
u014546828的博客
08-10 2470
文章的主要贡献在于重新设计了Mamba模块以更好地适应视觉任务，并通过引入Transformer块来增强模型的全局上下文和长距离空间依赖性的捕捉能力。最终，提出了一个包含多个分辨率层次的MambaVision模型家族。
CNN+Transformer+Mamba，多热点联合=不撞车+高分保证√
Aifuyao的博客
05-07 982
在深度学习领域，架构的创新与融合始终是推动技术发展的关键动力。近年来，将 CNN 的局部感知能力、Transformer 的全局视野以及 Mamba 的高效建模特性相结合的混合架构，成为了学术界和工业界共同关注的热门研究方向。这种融合不仅为学术论文的发表提供了新的思路，更在模型效率与性能的双重突破上展现出巨大潜力，在工业界也有着广阔的应用前景，例如腾讯混元 T1 便是这一方向的成功实践。
论文阅读：MambaVision: A Hybrid Mamba-Transformer Vision Backbone
ghost_him的博客
09-03 1923
作者提出了一种新型的混合 Mamba-Transformer 主干网络。通过重新设计 Mamba 公式，增强了其高效建模视觉特征的能力。此外，作者还通过对 ViT 与 Mamba 消融研究，实验结果表明了：在最后几层为 Mamba 架构配备几个自注意力模块，可以极大地提高捕获长程空间依赖关系的建模能力。最后，作者根据他们的发现，设计了一系列具有层次结构的 MambaVision 模型，最终取得了最佳的性能。
图像修复-频域TransformerMamba-2024-A Hybrid Transformer-Mamba Network for Single Image Deraining
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
05-13 800
这篇论文提出了一种新型去雨网络 TransMamba，结合频域 Transformer 和 Mamba 状态空间模型两种分支，有效建模雨迹的长距离依赖与频域特征。通过双分支特征融合与频谱增强机制，TransMamba 在多个数据集上显著优于现有方法。
《TransMamba：一种混合Transformer-Mamba网络用于单图像去雨》学习笔记
学无止境。
02-24 1498
现有的去雨 Transformer 采用自注意力机制，通过固定范围的窗口或沿通道维度的方式来操作，这限制了非局部感受野的利用。为了解决这个问题，我们提出了一种新颖的双分支混合Transformer-Mamba网络，命名为TransMamba，旨在有效捕捉长程的与雨滴相关的依赖关系。基于雨滴退化和背景的不同光谱域特征的先验知识，我们在第一个分支上设计了一个光谱带状Transformer模块。在光谱域的通道维度上执行自注意力操作，以增强建模长程依赖的能力。为了增强频率特定信息，我们提出了一种光谱增强的前馈模块。
顶会蓝海：Mamba+CNN+Transformer！新作准确率近100％！
2401_82426425的博客
02-12 1026
一方面，其能充分利用Mamba的高效序列处理能力、CNN的局部感受野优势和Transformer的全局上下文捕捉能力，不仅能提升模型性能，还能降低计算复杂度！比如模型DualMamba，便在高光谱任务中，实现了准确率高达99.66％、参数量减少94.5％、FLOPs减少94.2％的炸裂效果！另一方面，相比其他结合，Mamba是新技术，还不算卷，目前还在上升期，创新机会很多！不管你是做在图像处理，还是自然语言处理，或者多模态融合等任务，都非常推荐你关注！
Jamba: A Hybrid Transformer-Mamba Language Model
c_cpp_csharp的专栏
05-16 423
我们提出了Jamba，这是一种新的基于新型混合Transformer-Mamba专家混合（MoE）架构的基础大型语言模型。具体来说，Jamba交错了Transformer和Mamba层的块，享受了这两个模型族的好处。在其中一些层中添加了MoE，以增加模型容量，同时保持活动参数使用的可控性。这种灵活的体系结构允许特定于资源和目标的配置。在我们实现的特定配置中，我们最终得到了一个强大的模型，可以容纳一个80GB的GPU。
医图论文 Arxiv‘24 | 自我先验引导的 Mamba-UNet 网络在医学图像超分辨率中的应用
小白学视觉
04-16 56
作者提出了一种自我先验引导的 Mamba-UNet 网络（简称 SMamba-UNet）用于医学图像超分辨率。现有方法主要基于卷积神经网络（CNNs）或 Transformer。基于 CNN 的方法无法捕捉长距离依赖关系，而基于 Transformer 的方法由于其二阶计算复杂度，面临沉重的计算挑战。最近，状态空间模型（SSMs）尤其是 Mamba 出现了，它能够以线性计算复杂度建模长距离依赖。
中山大学&华为诺亚方舟实验室等提出TransMamba：从Transformer到Mamba的高效跨架构知识迁移
helloaiti的博客
03-25 1333
从训练过程的损失函数收敛图和准确率图来看，TransMamba收敛速度更快，准确率更高，在仅使用50% 数据时，PMamba模型就几乎能达到最佳性能，证明了Transformer模型的知识能显著缩短Mamba模型的训练过程。这一操作是后续知识转移的基础，通过将两个模型的特征映射到相似空间，为知识蒸馏创造有利条件，让Mamba模型能够更好地接收来自 Transformer 模型的知识。：通过零填充和MLP层，使Mamba模型的特征维度与Transformer模型匹配，对齐两者的潜在空间，为知识转移奠定基础。
CNN+Mamba+UNet，“三巨头” 合体！
学姐带你玩AI的博客
02-11 1823
一方面，这种组合融合了CNN的局部特征提取能力、Mamba的全局建模能力和UNet的结构特点，实现更全面的特征理解；另一方面，这一架构凭借高效建模能力与多模态适应性，已成为遥感、医学、视频分析等领域的创新标杆，相关研究在CVPR、AAAI等顶会中占比飙升，堪称发Paper的“黄金配方”！可见，各大顶会对这类融合模型接受度还是很高的，如果大家感兴趣，我建议就从模块设计或跨领域应用切入，结合开源代码快速验证。我这边整理好了可用作参考，代码也有，需要的同学速领。全部论文+开源代码需要的同学看文末。
运输层__
王老汉的博客
06-07 788
提供用户可控的端到端服务用户端的业务复用。
智能网卡之hinic3 WQE（Work Queue Element）结构梳理
qq_35223473的博客
06-08 1254
字段位宽/偏移说明PKT_TYPE[4:0]包类型IP_TYPE[6:5]IP 类型[7]封装 L3 类型TUNNEL_FMT[11:8]隧道包格式[20:19]组播/广播VLAN_EN[21]VLAN 有效RSS_TYPE[31:24]RSS 类型05781921240x1FU0x3U0x1U0xFU0x3U0x1U0xFFU。
TCP/IP 网络编程 | IO多路复用select/poll/epoll
weixin_52152177的博客
06-11 532
I/O多路复用机制概述 本文介绍了三种I/O多路复用技术：select、poll和epoll。I/O多路复用允许单个线程同时监听多个文件描述符，当有文件描述符准备好I/O操作时通知应用程序。 核心内容： select机制：使用三个位图(fd_set)监听可读、可写和异常事件，存在效率问题和文件描述符数量限制(1024) poll机制：改进select，使用pollfd结构体数组，解决了文件描述符数量限制问题 epoll机制：Linux专有高效实现，使用事件驱动模型，适合高并发场景 文中提供了select实现
网络安全中对抗性漂移的多智能体强化学习
最新发布
hao_wujing的专栏
06-11 467
大家读完觉得有帮助记得及时关注和点赞！！！不断演变的攻击是网络入侵检测系统 （NIDS） 长期成功的关键挑战。这些不断变化的模式的兴起暴露了传统网络安全方法的局限性。虽然基于签名的方法用于检测不同类型的攻击，但它们通常无法检测未知攻击。此外，由于攻击者不断改变他们的策略，该系统需要频繁更新新签名。在本文中，我们设计了一个环境，其中两个代理会随着时间的推移改进他们的策略。对抗代理（称为红色代理）扰动数据包以逃避入侵检测机制，而蓝色代理则使用漂移适应技术学习新的防御策略来对抗攻击。两种代理都会反复适应：红色代理
如何防止服务器被用于僵尸网络（Botnet）攻击 ？
2409_89014517的博客
06-06 711
如何防止服务器被用于僵尸网络（Botnet）攻击 ？
【Linux网络编程】网络通信初步认识 && 重要套接字接口
2303_80828380的博客
06-10 1084
重要的套接字接口在这
mamba swin-transformer
01-17
#### 关于Mamba-Swin架构的理解 Swin Transformer的设计理念在于其能够通过分层结构处理不同尺度的信息，在四个阶段内逐步降低特征图的空间分辨率并增加通道数，这与传统卷积神经网络(CNNs)有着相似之处[^1]。而当...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值