机器之心 | ​丢掉注意力的扩散模型：Mamba带火的SSM被苹果、康奈尔盯上了

本文来源公众号“机器之心”，仅用于学术分享，侵权删，干货满满。

原文链接：​丢掉注意力的扩散模型：Mamba带火的SSM被苹果、康奈尔盯上了

替代注意力机制，SSM 真的大有可为？

为了用更少的算力让扩散模型生成高分辨率图像，注意力机制可以不要，这是康奈尔大学和苹果的一项最新研究所给出的结论。

众所周知，注意力机制是 Transformer 架构的核心组件，对于高质量的文本、图像生成都至关重要。但它的缺陷也很明显，即计算复杂度会随着序列长度的增加呈现二次方增长。这在长文本、高分辨率的图像处理中都是一个令人头疼的问题。

为了解决这个问题，这项新研究用一个可扩展性更强的状态空间模型（SSM）主干替代了传统架构中的注意力机制，开发出了一个名为 Diffusion State Space Model（DIFFUSSM）的新架构。这种新架构可以使用更少的算力，媲美或超越具有注意力模块的现有扩散模型的图像生成效果，出色地生成高分辨率图像。

得益于上周「Mamba」的发布，状态空间模型 SSM 正受到越来越多的关注。Mamba 的核心在于引入了一种新的架构 ——「选择性状态空间模型（ selective state space model）」，这使