文献阅读：Mamba: Linear-Time Sequence Modeling with Selective State Spaces

最新推荐文章于 2025-10-09 16:34:29 发布
原创 最新推荐文章于 2025-10-09 16:34:29 发布 · 3.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mamba #Transformer #SSSM #S6 #SSM

文章介绍了Mamba模型，一种基于SelectiveStateSpaceModels的新型序列建模方法，旨在挑战Transformer的主导地位。Mamba在语言模型、DNA模型和语音模型中表现出良好性能，具有高速训练、可扩展性和内存效率。

1. 文章简介

这篇文章23年12月普林斯顿的一篇文章，文中提出了一个Mamba的模型结构，尝试挑战了一下Transformer的霸权地位。

众所周知，自从BERT和GPT分别在NLP任务以及生成任务上展现出绝对的统治力之后，transformer框架的模型同时开始进军CV和ASR领域，不断在各个领域当中出圈，大有一统天下的趋势。

不过，针对Transformer框架的挑战也是一直存在，从简单的对于Transformer框架中self attention结构的计算量优化到尝试复兴RNN的RetNet等等，整体的思路前者基本就是希望减少self attention的计算量从而使得可以容纳的context窗口长度，而后者干脆就回到RNN的框架来完全舍弃掉窗口的设置，通过设置并行训练的方式来修改掉RNN只能串行训练的问题。

这里，Mamba走的也是后者这个路线，完全舍弃掉了self-attention的框架，使用文中提到的state space model的框架来进行实现。

文中宣称：

  • Mamba模型不但可以无视掉context长度限制进行任意长文本的生成，还可以并行高速地训练，甚至有着很好的可扩展性，可以容纳大量参数，和transformer一样，在大数据预训练的框架下依然没有看到效果的瓶颈。

更牛逼的是，这篇文章的作者几乎是一己之力推着这个模型框架往前走，最早是一个S4的模型框架，然后优化成了H3的结果，到现在的Mamba，都是同一个团队沿着同一条路子走下来的，也是牛逼的厉害。不过可惜的是S4和H3那两篇文章我还没看过，所以这里对于Mamba的结构理解多少还有一点难度，后面会找时间去把剩下那两篇文章也看一下，或许对这个文章会有更好的一个理解。

2. 方法介绍

下面，我们首先来看一下Mamba的具体模型结构。

在这里插入图片描述

整体来说，Mamba的模型结构是在这篇文章的前作中提出的State Space Model（SSM）的基础上进行优化得到的，加上了选择机制并使之适应GPU的并行加速机制。

因此，我们下面就会遵循稳重的思路首先来看一下State Space Model，然后来看一下文中优化得到的Selective State Space Model，也就是文中的Mamba模型框架。

1. State Space Models

我们首先来考察一下State Space Model（SSM）。

本质上来说，包含输入 x t x_t xt​输出 y t y_t yt​以及态函数 h t h_t ht​，且训练过程可以并行，然后infer过程可以做到迭代串行的模型结构都可以称之为SSM。

下面就是一个SSM的典型case，它参数主要包括4个部分 ( Δ , A , B , C ) (\Delta, A, B, C)

最低0.47元/天 解锁文章
Mamba: Linear-Time Modeling With Selective State Space.pdf
12-29
"Mamba: Linear-Time Sequence Modeling with Selective State Spaces"这篇论文提出了一种新的模型，旨在解决Transformer的计算效率问题，并在多种模态上实现高性能。 Mamba模型的核心是结构化状态空间模型...
（2023，SSM，门控 MLP，选择性输入，上下文压缩）Mamba：具有选择性状态空间的线性时间序列建模
qq_44681809的博客
03-29 2475
本文提出 Mamba，与 S4 的区别在于：​通过组合 H3 与门控 MLP，使参数成为输入的函数，允许模型根据当前输入有选择地沿序列长度维度传播或遗忘信息。它使模型已从时不变变为时变，从而提升了效率。
【论文笔记】Mamba: Linear-time sequence modeling with selective state spaces
Word_And_Me_的博客
02-20 1829
：（强推）
Mamba Linear-Time Sequence Modeling with Selective State Spaces
最新发布
2301_77596123的博客
10-09 1114
Mamba基于选择性状态空间模型（SSM）实现了线性时间序列建模，解决了Transformer长序列计算的效率瓶颈。其核心创新是输入依赖的动态选择机制，可过滤冗余信息并保留关键特征，配合硬件感知算法实现高效并行化。架构上摒弃了传统SSM与Transformer的混合设计，通过离散化参数和双模式计算（卷积训练/循环推理）保持性能。实验显示推理速度提升5倍，支持百万级序列处理，为长序列任务提供了线性复杂度的高效解决方案。
【阅读文献笔记】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
qq_46460379的博客
11-08 4258
Mamba模型的提出者为Albert Gu、Tri Dao，前者现在是CMU助理教授，多年来一直推动SSM发展，曾在DeepMind 工作，后者则为Flash Attention一作。Mamba模型作为Transformer极具革命性的平替，开拓了AI界研究大模型的思路，讲清三个问题：从SSM、HiPPO、S4起步，逐步推导到MambaTransformer 结构的核心是自注意力机制层，不管Encoder，还是Decoder，序列数据都先经过位置编码后喂给这个模块。这里有个天然的缺陷，就是自注意力机制的计算
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
weixin_43780665的博客
03-06 4224
基础模型，现在为深度学习中大多数令人兴奋的应用程序提供动力，几乎普遍基于Transformer架构及其核心注意模块。许多次二次时间架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型(SSMs)已经被开发出来，以解决Transformer在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理，并进行了一些改进。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces(论文笔记)
Zssss12的博客
03-26 2876
现在为深度学习中大多数令人兴奋的应用程序提供动力的基础模型，几乎普遍基于Transformer架构及其核心的注意力模块。许多subquadratic-time(次二次时间)架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型(ssm)已经被开发出来，以解决Transformer在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理，并进行了一些改进。首先，简单地让SSM参数成为输入的函数，通过离散模态。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces论文总结
qq_45981086的博客
09-07 879
Mamba: Linear-Time Sequence Modeling with Selective State Spaces论文总结
《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》阅读笔记
AncilunKiang的博客
12-10 3376
论文标题 《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》 利用选择性状态空间的线性时间序列建模 作者 Albert Gu 和 Tri Dao Albert Gu 来自卡内基梅隆大学机器学习系，Mamba 脱胎于 Albert Gu 的前作 S4 架构。 Tri Dao 来自普林斯顿大学计算机科学系，Mamba 的简化块设计结合了 Tri Dao 的 H3 块和 MLP 块。 初读 摘要 Transformer 架构及其
【论文】原始论文Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Hali_Botebie的博客
04-10 2684
目前，深度学习领域中大多数激动人心的应用都基于 Transformer 架构及其核心注意力模块。许多亚二次时间架构，例如线性注意力、门控卷积和循环模型以及结构化状态空间模型 (SSM)，已被开发用于解决 Transformer 在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力模块。我们发现此类模型的一个关键弱点是它们无法进行基于内容的推理，并做出了一些改进。
【论文阅读】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
kanon的博客
07-19 2926
Mamba模型基于Transformer架构，旨在解决传统Transformer在长序列上的计算效率问题。通过引入选择性状态空间SSMs（Selective State Spaces），Mamba能够在保持线性时间复杂度的同时，实现与Transformer相媲美的性能。首先，简单地让SSM参数成为输入的函数，解决了它们在离散模态方面的弱点，允许模型根据当前令牌选择性地沿序列长度维度传播或忘记信息。其次，尽管这一变化阻碍了高效卷积的使用，但在循环模式下设计了一种硬件感知的并行算法。
论文浅读之Mamba: Linear-Time Sequence Modeling with Selective State Spaces
qq_49370210的博客
06-22 1889
这篇论文提出了一种新型的"选择性状态空间模型"(Selective State Space Model, S6)来解决之前结构化状态空间模型(SSM)在离散且信息密集的数据（如文本）上效果较差的问题。Mamba 在语言处理、基因组学和音频分析等领域的应用中表现出色。其创新的模型采用了线性时间序列建模架构，结合了选择性状态空间，能够在语言、音频和基因组学等不同模式中提供卓越的性能。这种突破性的模型标志着机器学习方法的重大转变，显著提升了效率和性能。
【论文笔记】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
weixin_45657478的博客
03-09 3522
【论文笔记】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
论文解读：Mamba: Linear-Time Sequence Modeling with Selective State Spaces
weixin_43495948的博客
08-05 969
Mamba：基于选择性状态空间模型的线性时间序列建模 Mamba架构，解决了Transformer在长序列处理中的效率瓶颈问题。通过引入选择性状态空间模型(Selective SSM)，Mamba实现了基于内容的动态信息筛选，显著提升了序列建模能力。核心创新包括：1)输入参数化的选择性机制，使模型能智能过滤无关信息；2)硬件感知算法，在循环模式下实现高效并行计算；3)简化的分层架构设计。实验表明，Mamba-3B模型在语言建模任务中超越同规模Transformer，推理速度提升5倍且支持线性扩展的序列长度。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces论文笔记
c2861024198的博客
06-19 888
Mamba论文阅读笔记，包含知识补充，但不包含实验及后面部分
FusionMamba: Efficient Image Fusion with State Space Model【文献阅读】
陈嘿萌的博客
05-02 2572
图像融合的目的是生成高分辨率的多光谱/高光谱图像（multi/hyper-spectral image），通过结合有限空间信息的高分辨率图像和具有大量空间信息的低分辨率图像。当前基于深度学习的图像融合方法主要是基于CNN和Transformer模型去提取图像的特征和融合不同类型的数据。CNN虽然和有效，但是限制于它的感受野，限制了他们去进行全局建模的能力。Transformer虽然能够专注于全局建模，但被它的二次计算复杂度所阻碍。
Mamba：线性时间的序列建模新篇章
步子哥的博客
12-31 1302
此外，结构化状态空间序列模型（SSMs）作为一种新兴的序列建模架构，虽然在连续信号数据（如音频和视觉）上取得了成功，但在文本等离散数据上的表现仍有待提高。总的来说，这篇论文提出了一种新的选择性状态空间模型Mamba，它通过选择性地处理序列信息，提高了序列模型在长序列上的效率和性能。Mamba在多个领域的实验中都显示出了其优越性，特别是在语言建模任务中，它与大型Transformer模型的性能相当，甚至在某些情况下超过了它们。这项工作不仅为序列建模领域带来了新的视角，也为未来的研究和应用提供了新的可能性。
[论文阅读笔记31]Mamba (Selective Structured State Space Model) 及其应用
wjpwjpwjp0831的博客
05-26 6743
现有的基础模型都是以Transformer结构作为核心组建的。然而，Transformer中的注意力是二次方的复杂度，为了降低这个复杂度，一些线性注意力、门控卷积（gated convolution）和循环网络，以及状态空间模型（structured state space models，SSM）被提出，然而它们在一些重要的模态，例如语言中的性能并没有达到和Transformer中attention相媲美的程度。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces 解读
04-19
<think>好的，我现在要处理用户关于Mamba论文中线性时间序列建模和选择性状态空间的解释请求。首先，我需要回顾Mamba模型的基本概念，确保自己理解正确。 用户的问题集中在两个部分：线性时间序列建模和选择性状态空间方法。我需要分别解释这两个概念，然后说明它们在Mamba中的应用。记得按照系统指令，正确使用LaTeX格式，行内公式用$...$，独立公式用$$...$$，并生成相关问题。 首先，线性时间序列建模可能指的是模型在处理时间序列数据时具有线性时间复杂度，即计算量随序列长度线性增长，而不是平方或其他高阶增长。这对于处理长序列非常重要，比如在自然语言处理或基因组学中。传统的Transformer模型由于自注意力机制，时间复杂度是$O(n^2)$，而Mamba可能通过状态空间模型（SSM）来降低复杂度到线性。 接下来，选择性状态空间。状态空间模型通常用隐变量来描述系统动态，比如HMM或卡尔曼滤波器。选择性可能指的是模型能够根据输入动态调整状态转移的参数，而不是使用固定的参数。这样模型可以更灵活地捕捉不同时间步的依赖关系，比如在处理自然语言时，根据当前词调整状态转移矩阵，从而更好地处理长距离依赖。 Mamba论文中提到的选择性状态空间模型（S6）可能结合了结构化状态空间（如S4）和输入依赖的参数选择。S4模型通过将状态空间模型与卷积结合，实现高效的并行训练和线性时间推理。而选择性机制可能允许模型在不同时间步调整SSM的参数，比如通过一个神经网络根据输入生成参数，从而增强模型的表现力。 需要确认的是，Mamba相对于传统SSM的改进点。传统SSM的参数是固定的，或者全局学习的，而Mamba的选择性机制可能使得参数动态变化，根据输入调整，这样能更好地处理不同上下文的信息。例如，在自然语言中，当前词可能影响哪些之前的隐状态需要被保留或遗忘，动态调整SSM参数能更有效地处理这种情况。 关于线性时间序列建模的实现，状态空间模型通常可以用递归方式计算，每一步的时间复杂度是常数，所以总体是线性的。但传统SSM的并行化可能较难，而Mamba可能通过类似卷积的方式在训练时并行处理，同时保持推理时的线性复杂度。需要检查论文中的具体实现，比如是否使用了扫描（scan）操作来替代卷积，或者其他的并行化技巧。 在解释数学部分时，需要正确使用LaTeX。例如，状态空间模型的基本方程： $$ h_t = A h_{t-1} + B x_t \\ y_t = C h_t + D x_t $$ 其中$A$是状态转移矩阵，$B$是输入矩阵，$C$是输出矩阵，$D$是前馈矩阵。在Mamba的选择性SSM中，$A$, $B$, $C$可能变成输入相关的，即对于每个时间步$t$，参数由输入$x_t$通过某种变换（比如线性投影）得到。 另外，选择性机制可能通过门控机制或动态参数生成实现。例如，使用一个神经网络层根据当前输入$x_t$生成$A_t$, $B_t$, $C_t$的参数，这样每个时间步的参数不同，从而适应不同的上下文。 关于计算复杂度，传统SSM的卷积模式需要计算全局卷积，可能时间复杂度是$O(L \log L)$，而递归模式是$O(L)$。但Mamba可能在训练时利用并行卷积，而推理时使用递归，达到线性时间。此外，选择性机制可能不会显著增加计算量，因为参数生成可能通过轻量级的投影层完成。 需要验证这些理解是否准确。可能存在的误区包括混淆了不同的SSM变体，比如S4和S6的区别，或者对选择性机制的具体实现方式理解有偏差。例如，S4中的结构化矩阵（如HiPPO矩阵）用于捕获长程依赖，而S6可能在此基础上引入了动态参数。 此外，Mamba的动机是解决传统SSM在处理离散模态（如文本中的关键词）时的不足，通过选择性机制动态调整状态转移，以更好地保留相关信息和忽略无关信息。例如，在处理一个句子时，遇到关键词时，模型可以调整状态转移以记住该信息，并在后续步骤中有效利用。 最后，生成相关问题时要围绕Mamba的核心创新和可能的应用，比如与其他模型的比较、选择性的实现细节、训练方法、应用场景等。需要确保问题具有针对性，能够引导读者进一步探索。 现在需要将这些思考整理成结构化的回答，符合用户的中文要求，正确使用LaTeX，并生成相关问题。同时，注意引用格式，引用标识要自然添加。例如，在提到代码实现时引用提供的资料[^1]。</think>### Mamba论文中的线性时间序列建模与选择性状态空间解析 #### 1. 线性时间序列建模 Mamba模型通过**结构化状态空间模型（SSM）**实现线性时间复杂度的序列建模。传统Transformer的自注意力机制计算复杂度为$O(n^2)$，而Mamba基于SSM的递归计算可将复杂度降至$O(n)$。其核心方程为： $$ h_t = A h_{t-1} + B x_t \\ y_t = C h_t $$ 其中$h_t$为隐藏状态，$A$为状态转移矩阵，$B$和$C$为投影矩阵。通过**卷积模式并行训练**（复杂度$O(L \log L)$）和**递归模式推理**（复杂度$O(L)$），Mamba高效处理长序列[^1]。 #### 2. 选择性状态空间（Selective SSM） 传统SSM的$A, B, C$参数是静态的，而Mamba引入**动态参数生成机制**，使参数随输入变化： - 输入$x_t$通过投影生成$B_t, C_t$，并动态调整$A$矩阵的衰减率 - 实现**上下文感知的状态更新**，例如在自然语言中根据关键词调整信息保留策略 数学上，选择性机制通过以下步骤实现： 1. 参数投影：$B_t = \text{Linear}(x_t), \quad C_t = \text{Linear}(x_t)$ 2. 离散化：将连续SSM转换为离散形式（零阶保持法）： $$ \overline{A} = e^{\Delta A}, \quad \overline{B} = (\Delta A)^{-1}(e^{\Delta A} - I)\Delta B $$ 其中时间步参数$\Delta$也由输入决定。 #### 3. 关键创新点对比 | 特性 | 传统SSM (如S4) | Mamba (S6) | |------------|-------------------|--------------------| | 参数类型 | 静态 | 动态（输入相关） | | 信息过滤 | 均匀记忆 | 选择性记忆/遗忘 | | 硬件效率 | 依赖卷积核优化 | 专用并行扫描算法 | | 任务表现 | 平稳信号处理 | 语言/基因等模态 | #### 4. 实现示例（伪代码） ```python class SelectiveSSM(nn.Module): def __init__(self, dim): self.delta_proj = nn.Linear(dim, 1) # 时间步参数生成 self.B_proj = nn.Linear(dim, dim) # 输入相关B矩阵 self.C_proj = nn.Linear(dim, dim) # 输出相关C矩阵 def forward(self, x): delta = F.softplus(self.delta_proj(x)) # Δ > 0 B = self.B_proj(x) C = self.C_proj(x) # 离散化A矩阵并执行并行扫描 return selective_scan(x, delta, B, C) ``` 完整实现可参考结构化SSM代码库[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值