Mamba模型(Mmaba1, 没有mamba2)

原创 已于 2024-07-23 15:31:38 修改 · 1.8k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #cnn #神经网络

于 2024-06-21 14:41:23 首次发布

问题

Transformer模型基于矩阵乘法，注意力机制中Q、K、V（N×d）会进行大量运算。

如：使用Q、K运算得到score的过程中，将Q每一行与K每一列进行运算，需要N^2次点积，每次点积包含d次乘法。即最终的复杂度为O(N^{2}d)。考虑到序列长度（L）、batch大小（B）、多层Transformer块的堆叠（M），计算量为M\cdot (24bLd^{2}+4bL^{2}d),参考。

RNN存在梯度消失的问题，且训练时间长。

状态空间模型

Mamba中的状态空间模型（SSM）的灵感来源于传统的状态空间模型，公式描述如下：

其中，h ( t ) h(t)h(t)是当前的状态量，A AA

最低0.47元/天 解锁文章
phoenixlxl
关注
Mamba线性时间序列框架超越Transformer模型？注意力机制如何翻身
人工智能研究所的博客
12-25 1722
是否Mamba未来会代替transformer，这个问题其实需要看不同的任务，也需要看不同的数据集，毕竟transformer模型以及统一了很多模型框架，包含NLP任务，CV计算机视觉任务，时间序列任务，基因工程等相关任务都是transformer相关模型框架，其大名鼎鼎的ChatGPT也是transformer模型。Mamba模型采用门控MLP单元，并与归一化残差连接组成新的Mamba基础模型，并使用此模型搭建整体的Mamba模型，整个模型框架并未采用transformer模型的注意力机制。
Mamba 模型：深度学习序列建模的新突破​
cumzxcv的博客
03-25 2067
Mamba模型的相关介绍分析与代码
Mamba：2 状态空间模型
鲁班模锤
05-06 2125
Mamba自从出道就一直被拿来和Transformer对比，文章巨多，带着标题的爆炸性字样“颠覆Transfomer”，“全面包围”等等。文章深浅不一，小编认为其背后的设计思路以及演化过程更加重要。为此本专题将从山上有座庙开始，沿着RNN、SSM、S4、HIPPO一路走来。期间抛弃冗杂的文辞，以更接地气的模式协助读者打开新的逻辑思维。
Mamba v2诞生：1 儒（Transformers）释（SSD）道（Mamba）本是一家？！
鲁班模锤
06-05 2443
状态空间对偶使得研究人员设计一种新的架构 (Mamba-2)，其核心层是对 Mamba（选择性SSM）进行改进，速度提高了2-8倍，同时在语言建模方面能够保持对Transformers的压力。
什么是 Mamba 模型？
最新发布
Diablo20022003的博客
09-24 1837
Mamba 作为状态空间模型 (SSM) 衍生的神经网络架构，适用于语言建模及其他序列建模任务。Mamba 架构凭借极速推理效能与计算效率（尤其长序列场景），成为自回归 LLM 领域首个可匹敌 Transformer 的替代架构。
Mamba 模型
skyxya的博客
06-26 3100
虽然这个概念与模型架构的特定选择无关，但现代 FM 主要基于一种类型的序列模型：Transformer 及其核心注意力层自注意力的功效归因于它能够在上下文窗口中密集地路由信息，使其能够对复杂的数据进行建模。此外，论文提出了一类新的选择性状态空间模型，它在几个轴上改进了先前的工作，以实现 Transformer 的建模能力，同时在序列长度上线性缩放。选择性 SSM，和扩展 Mamba 架构，是具有关键属性的完全循环模型，这使得它们适合作为在序列上运行的一般基础模型的主干。
精选资源
mamba 2 windows （cuda12.4）安装包，包括causal-conv1d，mamba-ssm
01-09
参考博客https://blog.youkuaiyun.com/yyywxk/article/details/145018635，有问题请加博客文末vx 注意，python，torch以及cuda版本必须要和博客里一致。 支持算力为6.0-9.0 等目前常见GPU。
精选资源
mamba 2 windows安装包，包括causal-conv1d，mamba-ssm， selective-scan-cuda
11-20
参考博客https://blog.youkuaiyun.com/yyywxk/article/details/143924743，有问题请加主页vx 注意，python，torch以及cuda版本必须要和博客里一致。 支持算力为7.0-9.0 等目前常见GPU。
Mamba模型时间序列预测
qq_60666264的博客
04-20 1249
Mamba模型作为一种新型的序列模型架构，在处理长序列数据方面表现出色，特别适合时间序列预测任务。通过调整模型参数和优化训练策略，可以进一步提高预测精度和泛化能力。
精选资源
mamba 2 windows （cuda12.8）安装包，包括causal-conv1d，mamba-ssm
03-31
（cuda12.8）安装参考https://blog.youkuaiyun.com/yyywxk/article/details/146798627 注意，python3.10，torch2.8以及cuda12.8版本必须要和博客里一致。 支持算力为12.0 等目前常见GPU。
【论文阅读笔记】Mamba模型代码理解
热门推荐
寸先生的AI道路
04-07 3万+
Mamba模型代码实现及理解
Mamba和状态空间模型(SSM)的视觉指南：替代 Transformers 的语言建模方法
安静的软件工程师
03-31 5349
Mamba和状态空间模型(SSM)的视觉指南：替代 Transformers 的语言建模方法
深度学习基准模型Mamba
06-30 2757
综上所述，MAMBA模型以其创新的选择性结构和高效的信息处理机制，为序列建模任务提供了一个有竞争力的解决方案，旨在克服现有模型在处理长序列数据时面临的挑战，同时推动深度学习技术在序列分析领域的进步。(英文直译：眼镜蛇)具有选择性状态空间的线性时间序列建模，是一种先进的状态空间模型 (SSM)，专为高效处理复杂的数据密集型序列而设计。
深度学习基础模型之Mamba
始于足下
03-30 5686
这项基础性模型研究旨在解决transformer模型的长序列数据计算效率低的问题，其解决方法的动机：利用选择性机制实现有效特征的提取。个人理解为通过有效特征信息的选择实现知识提取（信息压缩），这让我联想到，最初的VGG网络结构设计其实类似于模拟知识特征的压缩与抽取，但后来发现这种方式会损失边缘信息，因此提出了U-net架构，再进一步卷积的方式无法有效估计全局上下文信息的联系，进而提出注意力机制来解决这一问题。
【论文阅读】Mamba：具有选择状态空间的线性时间序列建模
1
01-31 5856
Mamba模型是一个创新的线性时间序列建模方法，巧妙地结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，解决了处理长序列时的计算效率问题。它通过状态空间模型（SSM）的框架，实现了RNN的逐步处理能力和CNN的全局信息处理能力的融合。在训练阶段，Mamba使用卷积模式来一次性处理整个输入序列，而在推理阶段则采用递归模式，逐步处理输入，这样的设计使得Mamba既能充分利用CNN的高效并行处理能力，又能保持RNN在序列数据处理上的灵活性。 ​ Mamba模型的核心创新在于引入了选择性机制，这一机制通
【转载】解读Mamba序列模型
SmartLab307的博客
05-07 4638
他在SSM的基础上，通过此篇论文《》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差；当然，作者在YouTube上有一个关于这篇S4论文的精彩解读，比S4论文的可读性提高很多，且本文中也应用了其中的部分PPT截图，但还可以更加通俗易懂；此外，Maarten Grootendorst写了一篇《A Visual Guide to Mamba and State Space Models》，可读性较强。
【论文阅读】Mamba:选择状态空间模型的线性时间序列建模（二）
weixin_45668967的博客
03-05 2301
我们的简化块设计结合了H3块，H3是大多数SSM结构的基础，有现代神经网络中无处不在的MLP块。因此，虽然选择机制可以被视为架构门控、超网络或数据依赖性等思想的特例，但大量其他结构也可以——基本上是任何具有乘法运算的结构，也包括标准注意力机制，但我们认为这样没有信息量。如在部分3.1讨论的一样，选择性最重要的属性是过滤掉我们不相关的信息以使一个序列模型的内容可以被压缩到哟个有效的状态。选择机制是一个广泛的概念，可以以不同的方式应用，例如在更传统的RNN和CNN，在不同的参数（例如算法2中的。
Mamba 来了：选择性状态空间模型（第三部分）
2401_85233349的博客
09-04 3893
第 3 部分 - 面向图像、视频和时间序列的 Mamba 状态空间模型 添加图片注释，不超过 140 字（可选） 米amba，这个被认为可以取代强大的 Transformer 的模型，从最初在深度学习中使用状态空间模型 (SSM) 的想法已经走了很长一段路。 Mamba 为状态空间模型添加了选择性，从而实现了与 Transformer 类似的性能，同时保持了 SSM 的亚二次工作复杂度。其高效的选择性扫描比标准实现快 40 倍，并且与 Transformer 相比，吞吐量可提高 5 倍。 与
mamba模型中的ES2D
02-13
### Mamba 模型中的 ES2D 细节及其在计算机视觉中的应用 #### ES2D 的定义与作用 ES2D 是一种增强的空间状态模型，旨在解决传统单向建模和缺乏位置感知的问题。该模型通过引入双向状态空间模型（SSM），能够有效地捕捉图像中的全局视觉上下文，并通过位置嵌入来实现更精确的位置感知的视觉理解[^3]。 #### 技术细节 为了更好地处理视觉数据，ES2D 利用了状态空间模型的强大能力，在长序列建模方面展现出显著优势。具体来说，ES2D 不仅可以捕获局部特征，还能有效利用全局信息，从而提高对复杂场景的理解能力。这种特性使得 ES2D 成为构建高效视觉表示学习框架的理想选择[^4]。 ```python import torch from mamba_model import ES2D # 初始化 ES2D 模型 model = ES2D(input_channels=3, hidden_size=128) # 输入张量形状为 (batch_size, channels, height, width) input_tensor = torch.randn(16, 3, 224, 224) # 前向传播 output = model(input_tensor) print(output.shape) # 输出形状应保持一致或根据需求调整 ``` #### 应用实例 在一个典型的计算机视觉任务中，比如目标检测或语义分割，ES2D 可以作为骨干网络的一部分，提供强大的特征提取能力。由于其具备良好的位置感知能力和全局上下文建模功能，因此特别适合用于需要高精度定位的任务。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值