lovely_yoshino的博客

深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。但是，注意力机制的缺点是计算开销大，会随输入规模而二次增长，也因此就难以处理非常长的文本。而Mamba的出现则是解决了这个问题，通过结构化的状态空间序列模型（SSM）。该架构能高效地捕获序列数据中的复杂依赖关系，并由此成为 Transformer 的一大强劲对手。

不知读者发现没有，本文标题的信息含量很大，比如出来了一个新的序列模型：Mamba，其基于SSM或S4发展为S6(selectionscan)，其对应的论文为《该Mamba模型的提出者为Albert Gu、Tri Dao，前者现在是CMU助理教授，多年来一直推动SSM架构发展，曾在DeepMind 工作，后者则为鼎鼎大名的Flash Attention一作换言之，除了论文中展示的效果确实不错之外，由于提出者的背景不一般，所以关注的人比较多。