阿里Qwen3-Next架构震撼开源：训练成本直降90%，长文本推理效率飙升10倍
项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Thinking-FP8 2025年9月12日，阿里通义实验室正式发布新一代基础模型架构Qwen3-Next，并同步推出基于该架构的Qwen3-Next-80B-A3B-Base模型。该模型采用创新的稀疏激活设计，总参数规模达800亿，但实际激活参数仅30亿，在15T tokens的预训练数据子集上完成训练。相比前代Qwen3-32B模型，新架构将GPU计算资源消耗压缩至9.3%，同时在32k以上上下文场景中推理吞吐量提升超10倍。基于Base模型衍生的指令版（Instruct）和思维版（Thinking）模型，原生支持262144 tokens上下文长度，通过扩展技术可进一步突破至1010000 tokens。其中指令模型专注任务执行不生成思考过程，思维模型则默认启用思考模式并自动包含思考标记。性能测试显示，指令模型达到Qwen3-235B旗舰模型水平，思维模型性能超越谷歌Gemini-2.5-Flash-Thinking闭源模型。
如上图所示，界面清晰展示了Qwen3-Next-80B-A3B模型的核心技术特性。这一架构创新充分体现了阿里在稀疏激活和注意力机制融合方面的突破，为开发者提供了高性能与低资源消耗兼具的模型选择。
在核心性能指标上，Qwen3-Next展现出惊人的效率优势。基座模型在保持与Qwen3-32B相近性能的同时，将训练成本压缩至原先的10%以下。推理效率方面，新架构在预填充阶段实现4k上下文7倍吞吐量提升，32k以上上下文场景突破10倍；解码阶段4k上下文效率提升4倍，长文本场景持续保持10倍以上优势。指令模型在综合评测中接近235B参数旗舰模型水平，仅在高难度数学推理基准AIME25中略有差距，但在编程、复杂问答和长对话场景表现更优。特别值得关注的是，该模型在RULER评测中，256k上下文范围内性能超越参数规模更大的Qwen3-235B。思维模型则全面超越Qwen3系列前代模型，并在多项指标上优于谷歌Gemini-2.5-Flash-Thinking。
架构升级方面，Qwen3-Next相比4月发布的Qwen3 MoE模型实现四大技术突破：混合注意力机制、高稀疏度MoE结构、训练稳定性优化和多Token预测（MTP）机制。混合注意力采用Gated DeltaNet与标准注意力3:1配比设计，在75%层级使用线性注意力提升效率，25%层级保留标准注意力确保建模能力，实验证明该组合比滑动窗口注意力和Mamba2架构更优。MoE结构将专家激活比从1:16提升至1:50，通过全局负载均衡实现参数规模与计算效率的最佳平衡。稳定性优化引入零中心化LayerNorm和权重衰减技术，配合注意力输出门控机制消除数值异常。MTP机制通过训练推理一致的多步预测，显著提升投机采样接受率，成为开发者反馈中最受欢迎的创新点。
如上图所示，Hugging Face平台清晰展示了Qwen3-Next系列的指令模型与思维模型版本。这一开源策略充分体现了阿里推动大模型技术普惠的决心，为全球开发者提供了高效能的基础模型工具集。
目前Qwen3-Next全系列模型已在魔搭社区、Hugging Face等平台开放下载，开发者可通过Qwen Chat网页端、阿里云百炼平台及NVIDIA API Catalog进行体验。社区反馈显示，多Token预测机制被认为是最具突破性的技术创新。阿里通义实验室表示，Qwen3-Next架构通过参数规模与激活效率的解耦设计，实现了30亿激活参数对标2350亿参数旗舰模型的性能跨越。未来团队将持续优化架构并开发Qwen3.5版本，同时已布局超万亿参数模型Qwen3-Max-Preview、文生图编辑模型Qwen-Image-edit及语音识别模型Qwen3-ASR-Flash等多模态产品矩阵。随着技术生态的不断完善，阿里通义正通过架构创新重塑大模型产业的成本与效率边界，为AGI普惠化发展提供关键技术支撑。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
