AI21 Labs 发布全球首批生产级 Mamba 模型：Jamba 1.5 系列重磅登场

关注

原创最新推荐文章于 2026-11-08 12:08:08 发布 1k 阅读 AI 写同款· GEO 优化 ›

Jamba 1.5深度解析：如何用混合架构实现256K超长上下文支持本文深度解析Jamba 1.5的混合架构创新，结合Transformer、Mamba和MoE技术实现256K超长上下文支持。通过分层异构设计、内存优化策略和硬件感知计算，该模型在7B参数规模下达到3倍推理吞吐量，特别适合处理法律合同、科研论文等长文本场景。阅读详情

前沿科技速递🚀

在全球人工智能领域，AI21 Labs 再次走在前沿，正式推出了 Jamba 1.5 系列开放模型，包括 Jamba 1.5 Mini 和 Jamba 1.5 Large。这些模型凭借创新的 SSM-Transformer 架构，在长上下文处理、速度和质量方面设立了新标杆，是非 Transformer 架构模型首次成功达到市场领先模型的质量和性能。

来源：传神社区

01 革新架构：Mamba 与 Transformer 的完美结合

Jamba 1.5 系列模型基于新颖的 SSM-Transformer Jamba 架构，将 Transformer 的卓越质量与 Mamba 的突破性效率相结合。这一混合架构大幅降低了模型的内存占用，使得 Jamba 1.5 Mini 能够在单个 GPU 上处理长达 140K token 的上下文。这一优势不仅使得长上下文的微调更加容易，还为企业应用带来了前所未有的资源效率和成本效益。

为了应对大规模模型推理中的挑战，AI21 Labs 开发了 ExpertsInt8，这是一种专为混合专家（MoE）模型设计的全新量化技术。通过 ExpertsInt8 技术，Jamba 1.5 Large 模型在处理 256K token 的上下文时，能够在单个 8 GPU 节点上运行，而不会损失质量。实验结果表明，ExpertsInt8 技术在所有 vLLM 量化技术中具有最低的延迟，同时保持了模型的高质量。

02 卓越的长上下文处理能力

Jamba 1.5 系列模型的亮点在于其卓越的长上下文处理能力。得益于 256K token 的上下文窗口，Jamba 1.5 成为了市场上上下文窗口最长的开放模型。这一扩展的上下文窗口使模型能够高效地处理复杂任务，如长文档摘要、分析以及多步骤推理。更重要的是，与许多在上下文窗口上限时性能下降的模型不同，Jamba 1.5 系列能够在整个 256K token 的上下文范围内保持一致的性能质量。这使得它在企业级 GenAI 应用中表现尤为出色，显著提高了检索增强生成（RAG）工作流的质量和效率，并有效降低了成本。

03 市场领先的速度与效率

在速度和效率方面，Jamba 1.5 系列模型同样表现卓越。在长上下文处理中，Jamba 1.5 模型的推理速度最多可以比同类竞争对手快 2.5 倍，无论是在长上下文还是其他上下文长度中，均在其尺寸级别中表现最快。这为客户带来了显著的成本、质量和速度优势，尤其是在高强度的业务环境中。具体测试结果显示，Jamba 1.5 Mini 在 10K 上下文环境中表现最佳，超越了所有同类模型。

每秒在10K上下文上输出令牌，由Artificial Analysis独立测试

04 全面的卓越品质

Jamba 1.5 系列模型在各项基准测试中表现出色。Jamba 1.5 Mini 在 Arena Hard 基准测试中得分 46.1，成为其尺寸级别中最强的模型，超越了 Mixtral 8x22B 和 Command-R+ 等更大尺寸的模型。Jamba 1.5 Large 更是以 65.4 分的成绩超越了 Llama 3.1 70B 和 405B 等领先模型，成为市场上性价比最高的模型之一。