GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models

文章主要内容总结

本文介绍了由智谱AI和清华大学联合研发的开源大语言模型GLM-4.5系列，包括GLM-4.5（355B参数）和轻量版GLM-4.5-Air（106B参数）。该系列采用混合专家（MoE）架构，总参数分别为3550亿和1060亿，激活参数为320亿和120亿，支持“思考模式”和“直接响应模式”的混合推理方法。

通过在23万亿 tokens 上的多阶段训练，结合专家模型迭代和强化学习等后训练优化，GLM-4.5在智能体能力（Agentic）、推理（Reasoning）和编码（Coding）三大任务（ARC）上表现优异：TAU-Bench得分70.1%，AIME 24得分91.0%，SWE-bench Verified得分64.2%。在参数远少于竞品的情况下，GLM-4.5在所有评估模型中总排名第三，在智能体基准测试中排名第二。此外，文章还开源了模型、代码及评估工具，旨在推动推理和智能体AI系统的研究。

文章创新点

1. 架构设计：采用MoE架构，通过增加模型深度（层数）而非宽度（隐藏维度）提升推理能力；使用分组查询注意力（Grouped-Query Attention）和QK-Norm稳定注意力计算，并加入MTP层支持推测解码。
2. 混合推理模式：支持“思考模式”（复杂推理和智能体任务）和“直接响应模式”（即时响应），平衡推理深度与效率。
3. 多阶段训练策略：预训练阶段扩展序列长度至128K，中训练阶段针对性强化代码库级编码、合成推理数据和长上下文能力。