视觉Mamba:基于双向状态空间模型的高效视觉表征学习

已于 2024-01-29 13:56:36 修改
阅读量2.3k 收藏 21
点赞数 6
分类专栏： 高质量AI论文翻译 文章标签： 学习
于 2024-01-29 07:29:54 首次发布
不能复制，转发
本文链接：https://blog.youkuaiyun.com/m0_47867638/article/details/135888503
版权
论文提出Vision Mamba（Vim），一种结合双向SSM进行全局视觉上下文建模，并使用位置嵌入进行位置感知的视觉表示学习方法。Vim在图像分类、语义分割、目标检测等任务上超越了优化的Transformer模型，如DeiT，同时在计算和内存效率上有显著提升，尤其在处理高分辨率图像时。Vim的提出旨在克服纯SSM在视觉任务中的挑战，有望成为下一代视觉基础模型的骨干网络。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

摘要

https://arxiv.org/pdf/2401.09417v1.pdf
最近，具有高效硬件感知设计的状态空间模型（SSMs），例如Mamba，在长序列建模方面展现出了巨大潜力。纯粹基于SSMs构建高效和通用的视觉骨干网络是一个吸引人的方向。然而，由于视觉数据的空间敏感性和视觉理解的全局上下文需求，用SSMs表示视觉数据是一项挑战。本文表明，视觉表示学习对自注意力的依赖不是必需的，并提出了一个新的通用视觉骨干网络，该网络使用双向Mamba块（Vim），通过位置嵌入标记图像序列，并使用双向状态空间模型压缩视觉表示。在ImageNet分类、COCO目标检测和ADE20k语义分割任务上，Vim与DeiT等完善的视觉变换器相比性能更高，同时还显著提高了计算和内存效率。例如，Vim比DeiT快2.8倍，在执行批量推理以提取分辨率为1248×1248的图像特征时节省了86.8%的GPU内存。结果表明，Vim能够克服在执行高分辨率图像的Transformer风格理解时的计算和内存限制，并且有潜力成为下一代视觉基础模型的骨干网络。
在这里插入图片描述

</

了解本专栏 订阅专栏 解锁全文
论文精读：VMamba Visual State Space Model
Alex
01-23 2万+
Institution: 中国科学院大学（UCAS）, 华为, 鹏城实验室Summary: CNNs和ViTs是视觉特征表示领域常用的两个基座模型，CNNs具有显著的可扩展性，线性复杂度与图像分辨率相关，ViTs的拟合能力更强，通过注意力机制的全局感受野和动态权重可以有更好的表现，但是复杂度是二次的。本文提出了一种新的架构——VMamba（Visual State Space Model），继承了CNNs和ViTs的优点，同时还提高了计算效率，在不牺牲全局感受野的情况下可以达到线性复杂度。
视觉Mamba：基于双向状态空间模型的高效视觉表征学习
AI浩
01-29 1835
最近，具有高效硬件感知设计的状态空间模型（SSMs），例如Mamba，在长序列建模方面展现出了巨大潜力。纯粹基于SSMs构建高效和通用的视觉骨干网络是一个吸引人的方向。然而，由于视觉数据的空间敏感性和视觉理解的全局上下文需求，用SSMs表示视觉数据是一项挑战。本文表明，视觉表示学习对自注意力的依赖不是必需的，并提出了一个新的通用视觉骨干网络，该网络使用双向Mamba块（Vim），通过位置嵌入标记图像序列，并使用双向状态空间模型压缩视觉表示。
《VMamba: Visual State Space Model》全文详细翻译和解读
qq_62111160的博客
01-15 1257
VMamba全文翻译和解读，一边研究一边实时更新，欢迎讨论和批评
Vision Mamba代码解读——模型篇
最新发布
小小老大MUTA的博客
04-01 1259
Vision Mamba模型构建的代码梳理
论文阅读：VMamba: Visual State Space Model
fishfuck的博客
03-07 1685
卷积神经网络（CNNs）和ViTs是视觉表示学习的两个最受欢迎的基础模型。尽管CNNs在图像分辨率方面表现出显著的可扩展性，具有线性复杂度，但ViTs在拟合能力上超越了它们，尽管它们面临着二次方复杂度的挑战。仔细检查发现，。这一观察启发我们提出了一种新的架构，它继承了这些组件，同时提高了计算效率。为此，我们从最近引入的状态空间模型中汲取灵感，提出了视觉状态空间模型（VMamba），它在不牺牲全局感受野的情况下实现了线性复杂度。
VMamba: Visual State Space Model——视觉状态空间模型
Together_CZ的博客
12-26 2446
VMamba: Visual State Space Model——视觉状态空间模型
VMamba: Visual State Space Model
weixin_46687145的博客
01-24 4551
视觉表示学习是计算机视觉中最基础的研究课题之一，自深度学习时代开始以来，视觉表示学习取得了重大突破。卷积神经网络(Convolution Neural Networks, CNNs)[38,19,22,29,42]和视觉变形器(Vision transformer, ViTs)[10,28,45,56]这两类主要的深度基础模型已被广泛应用于各种视觉任务中。虽然两者在计算表达性视觉表示方面都取得了显著的成功，但ViTs通常比CNNs表现出更好的性能，这可以归因于注意力机制促进的全局感受野和动态权重。
【论文阅读】VMamba:视觉状态空间模型
weixin_45668967的博客
03-11 5961
受最近提出的状态空间模型启发，我们提出了视觉状态空间模型，在不牺牲感受野的情况下实现线性复杂度。为了解决遇到的方向感知问题，我们提出了交叉扫描模块（CSM）以遍历空间域并将任何非因果视觉图像转换为有序补丁序列。广泛实验结果说明VMamba不仅在多种视觉感知任务上取得优秀的成果，在不断提升图像分辨率训练表现上也展现了明显提升。VMamba在有效降低注意复杂度的关键概念来自选择性扫描状态空间模型（S6），原本被提出用来解决NLP问题。
Mamba视觉新主干！LocalMamba：全新视觉状态空间模型（商汤）
CV_Autobot的博客
04-02 1108
编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心技术交流群本文只做学术分享，如有侵权，联系删文在本文中，作者介绍了LocalMamba，一种新的视觉状态空间模型，它显著增强了对图像局部依赖关系的捕捉能力，同时保持了全局上下文理解。作者的方法利用了窗口化选择性扫描和扫描方向搜索，取得了显著优于现有模型的效...
Vision Mamba：使用双向状态空间模型进行高效视觉表示学习
小刘的博客
02-25 3443
该方法利用位置嵌入对图像序列进行标记，并利用双向状态空间模型对视觉表示进行压缩。ViT可以通过自注意为每个图像块提供数据/块相关的全局上下文通过将图像视为没有2D归纳偏差的补丁序列来进行模态不可知建模，这使其成为多模态应用的优选架构VIT的缺点：处理长距离视觉依赖时的速度和内存使用较差Mamba用于视觉任务的挑战：单向建模和缺乏位置意识本文提出Vision Mamba（Vim），它采用了双向SSM数据相关的全局视觉上下文建模和用于位置感知视觉理解的位置嵌入。
Python_基于双向状态空间模型的视觉曼巴高效视觉表征学习.zip
05-24
基于双向状态空间模型的视觉曼巴高效视觉表征学习”是一个项目，它结合了Python编程语言和一种先进的机器学习方法——双向状态空间模型（Bidirectional State Space Models，BSSM），用于优化视觉表征学习，特别是在...
新一代状态空间模型网络替代Transformer 综述
liangdaojun的博客
04-28 3186
本文首先初步介绍了状态空间模型（SSM）的工作原理。然后，从多个方面回顾SSM的相关工作，包括SSM的起源和变化、自然语言处理、计算机视觉、图、多模态处理、多模态和多媒体、点云/事件流数据、时间序列数据等领域的相关工作。此外，作者在多个下游任务中进行了广泛的实验，以验证SSM的有效性。下游的任务包括单/多标签分类、视觉目标跟踪、像素级分割、图像到文本的生成和人/车辆的重识别。最后，提出了SSM的在理论和应用上的一些可能的研究方向，并对本文作出了总结。
MambaVision：一种混合Mamba-Transformer视觉主干网络
qq_45800507的博客
10-13 1430
摘要我们提出了一种新型的混合Mamba-Transformer主干网络，命名为MambaVision，它专门为视觉应用而设计。我们的核心贡献包括重新设计Mamba公式，以提高其有效建模视觉特征的能力。此外，我们对集成视觉变换器（ViT）与Mamba的可行性进行了全面的消融研究。我们的结果表明，在Mamba架构的最后一层加入多个自注意力模块大大提高了捕获长程空间依赖性的建模能力。基于我们的发现，我们引入了一系列具有分层架构的MambaVision模型，以满足各种设计标准。
Vision Mamba：高效视觉表示学习双向状态空间模型，超越Vision Transformer！
math_bearrr的博客
05-10 4693
1. Mamba模型的基本原理Mamba模型是基于状态空间模型（SSM）的一种深度学习模型，它通过时间变化的参数和硬件感知的算法来实现高效的训练和推理。Mamba的优越性能表明它是语言建模中Transformer的一个有前途的替代品。Mamba模型的设计灵感来源于经典的卡尔曼滤波器模型，特别擅长捕捉长范围依赖关系，并且能够从并行训练中受益。2. Vim模型的创新之处Vim模型是在Mamba的基础上为视觉数据设计的一种新型视觉主干网络。
（2024，ViM，双向 SSM 骨干，序列建模）利用双向状态空间模型进行高效视觉表示学习
qq_44681809的博客
01-19 2910
本文提出了 ViM 来探索状态空间模型 Mamba 作为通用的视觉骨干。由于双向状态空间建模，Vim 实现了依赖于数据的全局视觉上下文，享有与 Transformer 相同的建模能力，同时具有更低的计算复杂性。
Vision Mamba：高分辨率图像处理新标杆
2501_90976089的博客
03-06 1225
Vision Mamba在处理高分辨率图像时展现出显著优势，其子二次方复杂度设计使其在推理速度和GPU内存占用上优于Vision Transformer。通过选择性状态空间模型和双向扫描策略，Vision Mamba能够高效捕捉图像的局部和全局信息，显著提升模型性能。在处理长序列数据时，Mamba模型通过状态压缩和递归更新机制，有效降低了计算复杂度，减少了内存消耗。此外，引入位置嵌入增强了模型对空间信息的感知能力，使其在密集预测任务（如语义分割）中表现尤为出色。这种高效性不仅适用于图像处理，还为处理视频等长
视觉图像的通用智能：基于GPT和大语言模型思考
idol24的博客
06-20 972
作者丨谢凌曦@知乎内容只代表作者观点来源丨https://zhuanlan.zhihu.com/p/620631150引言距离上次的长篇大论，已经过去了半年有余。这段时间，对于AI业界甚至整个世界，都是惊心动魄的。在这段时间里，最令人印象深刻的大事莫过于ChatGPT和GPT-4的发布。毫无疑问，GPT-4是有史以来最为强大的AI程序。在随后发表的一篇论文[1]中，学者们将GPT-4称为通用人...
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
bert + mamba
02-05
### 结合BERT和Mamba进行自然语言处理 为了实现BERT与Mamba的有效结合，在项目中可以采取一种混合模型的方法，其中利用两者的优势来提升特定任务的表现。具体来说： #### 数据预处理阶段 在准备用于训练的数据时，先通过BERT对输入文本进行编码。这一步骤能够捕捉到上下文中的语义信息，从而为后续的任务提供更丰富的特征表示。 ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def encode_text(text): inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs)[0] return outputs.mean(dim=1).detach().numpy() ``` 此部分代码展示了如何使用Hugging Face库加载预训练好的BERT模型并获取句子级别的嵌入向量[^1]。 #### 特征融合层设计 接着构建一个自定义网络结构，接受来自两个不同源（即BERT提取的特征以及由Mamba生成的状态空间表征）作为输入，并尝试找到最佳方式将这些异构的信息结合起来。考虑到视觉曼巴(Vision Mamba)专注于高效的双向状态空间建模，因此可以在图像描述生成等跨模态任务上发挥重要作用；而对于纯文本任务，则可能更多依赖于BERT所提供的深层次的语言理解能力。 ```python import torch.nn as nn class FusionLayer(nn.Module): def __init__(self, bert_dim, mamba_dim, hidden_size): super(FusionLayer, self).__init__() self.fc = nn.Linear(bert_dim + mamba_dim, hidden_size) def forward(self, bert_features, mamba_states): combined = torch.cat((bert_features, mamba_states), dim=-1) output = self.fc(combined) return output ``` 上述Python片段定义了一个简单的线性变换函数，它接收两组不同的特征向量——分别对应着经过BERT编码后的文本内容及其关联的Mamba状态序列——并将它们拼接起来送入全连接层进一步加工处理。 #### 训练过程优化策略 最后，在实际应用过程中还需要特别注意调整超参数设置以适应具体的业务场景需求。比如针对某些资源受限环境下的部署情况，可以通过剪枝、量化等方式减少计算开销而不显著影响最终效果。此外，由于涉及到多模态数据的学习机制，建议采用更加灵活有效的损失函数形式，如对比学习框架下提出的InfoNCE Loss等，以便更好地促进两种不同类型特征间的交互作用。 综上所述，虽然目前并没有直接关于BERT同Vision Mamba相结合的具体实例说明文档或官方指南可供参考，但从理论上讲，只要合理规划好各个组件间的关系就能达成预期目标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI智韵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值