Jamba：AI21 实验室发布首个应用级的 Mamba 架构 AI 模型

AI21 实验室发布了 Jamba，这是全球首个基于 Mamba 架构的、可用于实际应用的 AI 模型。目前大多数模型（例如 GPT、Gemini 和 Llama）都基于 Transformer 架构。Jamba 结合了 Mamba 结构化状态空间模型 (SSM) 和传统 Transformer 架构的优点，实现了性能和效率的显著提升。

Jamba 拥有 256K 个 Token 的超长文本处理能力，相当于大约 210 页文本，同时可在单个 80GB 的 GPU 上容纳 140K 个 token。这一突破得益于其混合 SSM-Transformer 架构，该架构利用混合专家 (MoE) 技术，在进行推算时仅调用其 520 亿个参数中的 120 亿个。这意味着 Jamba 比大多数同类模型能够处理更长的文本，例如 Meta 的 Llama 2 的文本处理能力为 32,000 个词元，同时 Jamba 还保持着高吞吐量和效率。

Jamba 在处理长文本时，其吞吐量是同等规模的 Transformer 模型࿰