实验证实Mamba的潜力

通过实验证实了Mamba作为通用序列基础模型（FM）骨干的潜力，无论是在预训练质量上还是在特定领域任务性能上，在多种模态和设置下进行验证

实验证实Mamba的潜力

Mamba在多个重要任务和不同模态上展示了其作为通用序列基础模型的强大性能。以下是具体的实验和验证结果：

1. 合成任务（Synthetics）

复制任务和归纳头任务：

• 这些任务被认为是大型语言模型的关键。
• Mamba不仅能轻松解决这些任务，还能够无限期地推导解决方案（超过100万标记）。
• 例如，在复制任务中，模型需要复制一个输入序列，Mamba能够高效地完成任务，即使序列长度超过100万。

2. 音频和基因组学（Audio and Genomics）

音频波形和DNA序列建模：

• Mamba在建模音频波形和DNA序列时，表现优于之前的最先进模型，如SaShiMi、Hyena和Transformers。
• 在预训练质量和下游指标上都有显著提升。
  • 例如，在一个具有挑战性的语音生成数据集上，Mamba将生成质量指标（FID）降低了一半以上。

长上下文性能：

• Mamba的性能随着上下文长度的增加而提高，能够处理长度高达百万的序列。