AI领域权威学者吴恩达在最新一期《The Batch Newsletter》中，特别关注了蚂蚁集团开源的Ling-1T模型。他指出，这款定位为非推理模型的AI系统，性能已逼近行业顶尖闭源模型，其背后折射出AI技术发展的重要转向。事实上，Ling-1T只是蚂蚁集团近期密集开源的模型矩阵中的一员，从Ling-mini-2.0、Ling-flash-2.0到万亿参数的Ling-1T，再到专注推理的Ring系列，这些模型共同构建了一套完整的AI技术体系。如今，蚂蚁百灵团队通过58页的《Ling 2.0 Technical Report》，首次对外公开了这套体系的核心技术框架，为AI社区提供了一份从160亿到万亿参数规模的推理导向模型训练全攻略。
【免费下载链接】Ling-mini-2.0 
项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-mini-2.0
这份技术报告以"Every Activation Boosted"为设计哲学，系统性阐述了如何让模型的每一次激活都精准提升推理能力。在当前AI模型井喷式发展的背景下，蚂蚁集团并未止步于展示技术成果，而是深入探讨了一个更本质的问题：当算力成本成为AI发展的核心瓶颈时，如何构建可持续、可规模化且以提升推理能力为核心的高效研发范式？报告从架构设计、预训练流程、后训练优化和基础设施支撑四个维度，完整呈现了Ling 2.0系列模型的技术突破，揭示了四大技术支柱如何协同作用，打造出专为推理优化的AI系统。
架构设计与Scaling Law：万亿模型的精准工程
在参数规模迈入万亿级别的时代，AI模型设计面临着计算成本高昂、训练周期漫长和系统稳定性难以保障等多重挑战。蚂蚁团队通过"极致稀疏架构"与"精准性能预测"的双重策略，成功应对了这些难题。Ling 2.0系列模型采用统一的"高稀疏、细粒度"混合专家（MoE）架构，配备256个专家网络，但每次前向传播仅激活8个专家和1个共享专家，激活率低至3.5%。这种设计使模型在保持高性能的同时，实现了近7倍于同等规模密集型模型的计算效率。
Ling Scaling Laws的提出更是体现了蚂蚁团队的技术前瞻性。这套基于小规模模型实验建立的预测系统，能够以不到1%的算力成本，高精度外推万亿参数模型在超大规模计算条件下的性能表现和最优超参数配置。正是依靠这种精准的预测能力，团队得以在模型设计阶段就确定最优架构参数，例如将专家激活数量锁定为8个这一经过验证的黄金配置。值得注意的是，这套架构体系具有高度的扩展性，不仅支撑了Ling系列模型的开发，还为后续Ring-1T等推理专用模型提供了基础骨架，即使在探索线性注意力等创新方向时，MoE结构设计依然严格遵循Scaling Laws的指导原则。
预训练与中训练：推理能力的预激活机制
如果说架构是模型的骨架，那么预训练就是为其注入灵魂的关键环节。Ling 2.0系列在20万亿tokens的预训练过程中，始终贯彻"推理优先"原则，其中高质量数学与代码数据集占比从32%逐步提升至46%，确保模型在知识积累阶段就建立起强大的逻辑思维基础。团队创新性地采用多阶段训练策略，将上下文窗口从4K逐步扩展至128K，并在训练早期就引入推理与链式思维（CoT）数据，这种设计使模型的推理能力得到提前激活。
"中训练（Mid-Training）"阶段的提出，成为Ling 2.0区别于传统模型训练流程的核心创新点，也是吴恩达特别关注的技术亮点。在预训练和有监督微调（SFT）之间，蚂蚁团队插入了大量高质量思维链数据训练环节，这相当于在模型正式对齐前就提前唤醒其推理潜能，为后续训练提供更高的性能上限和更稳定的思维基础。配合团队独创的WSM（Warmup-Stable-Merge）调度器，摒弃传统学习率衰减机制，通过保持稳定学习率并结合检查点合并技术实现模型收敛，这种训练策略不仅提升了操作灵活性，还为下游任务带来1-2%的平均性能提升，充分验证了其技术有效性。
后训练对齐：句子级强化学习的突破
当模型的推理潜能被预激活后，传统的后训练方法已无法充分释放其性能。Ling 2.0在对齐阶段的算法创新，特别是强化学习（RL）领域的突破，展现了卓越的技术创造力。在有监督微调阶段，团队开发的DFT（Decoupled Fine-Tuning）策略通过设计"detailed think on"与"detailed think off"两种系统提示词，使模型在单一权重体系下同时掌握"即时响应"和"深度推理"两种可控模式，为后续优化奠定了基础。
Evo-CoT（演进式思维链）强化学习框架的引入，使模型能够根据问题复杂度动态调整推理深度。而真正革命性的突破在于LPO（Linguistic-unit Policy Optimization）算法的提出——这是行业首次实现的句子级强化学习技术。不同于传统的token级或序列级优化，LPO将完整句子作为策略更新的基本单元，恰好匹配逻辑推理步骤的自然语义边界。实验数据显示，这项创新使复杂推理任务性能提升约10%，同时显著增强了训练稳定性和泛化能力。为支撑这些先进算法，蚂蚁团队构建了可扩展的奖励模型系统，能并发处理40K异构奖励请求，涵盖规则验证、模型评估和沙箱代码执行等复杂任务，确保后训练流程的高效稳定。
针对开放性主观任务，Ling 2.0引入GAR（Group Arena Reward）机制，通过循环赛式的相对比较替代绝对评分，有效降低主观评估中的噪声干扰。这种设计使模型在创意写作、对话生成等领域的表现更加稳定可靠，进一步拓宽了技术应用边界。
基础设施支撑：全栈优化的工程实践
万亿参数模型的训练本质上是一场工程能力的竞赛。Ling 2.0报告详细披露了支撑其稳定运行的基础设施创新，既有突破性的技术成就，也包含宝贵的实践经验。作为目前已知最大规模采用全链路FP8精度训练的开源模型，Ling-1T在精度与效率平衡方面树立了新标杆。团队通过细粒度逐块量化策略，结合QKNorm技术抑制异常值扩散，并开发实时FP8训练保障系统进行全时监控，最终在1万亿参数规模上实现了与BF16精度几乎一致的训练损失（差距≤0.25%），同时将算力利用率提升15%，充分验证了FP8在万亿级模型训练中的可行性与经济性。
针对Ling 2.0异构架构（融合密集层、MoE稀疏层和MTP多token预测模块）带来的工程挑战，团队创新设计了异构细粒度管线调度策略。该方案允许拆分复杂计算模块，并根据不同层的计算特性灵活分配管线并行阶段，有效解决了传统管线并行中的"气泡效应"问题，使端到端训练吞吐量提升40%以上。此外，通过节点内DeepEP通信优化、算子融合技术、专家层重计算加速和分布式检查点存储优化等一系列工程创新，进一步夯实了万亿模型训练的基础设施支撑能力。
报告中坦诚分享的"失败经验"同样具有重要价值。团队尝试通过计算-通信重叠技术隐藏专家计算耗时，但在实践中发现，这种优化需要大规模专家并行配置才能见效，而这与MoE模型浅层路由不均的特性存在根本矛盾——热门专家会导致特定GPU内存溢出，迫使系统采用非最优管线划分，最终抵消了理论上的性能收益。这一经历深刻揭示：在万亿参数规模下，任何忽视硬件特性和系统异构性的纯算法优化都难以落地，真正的效率提升必须建立在算法与系统的协同设计之上。这种"Correct, Consistent, Complete, Co-Design"的4C工程哲学，正是Ling 2.0系列模型能够稳定高效训练的核心保障。
开源生态：AI可持续发展的新范式
《Ling 2.0 Technical Report》的发布，标志着蚂蚁集团从模型开发者向AI技术生态建设者的角色跃升。这份技术文档不仅详细记录了模型参数配置和训练超参数，更重要的是提供了一套可复现、可扩展的万亿级模型开发方法论。通过开源Ling-mini-2.0（仓库地址：https://gitcode.com/hf_mirrors/inclusionAI/Ling-mini-2.0）等核心模型，蚂蚁团队为全球AI研究者提供了从百亿到万亿参数规模的完整技术路线图，打破了大模型研发的技术壁垒。
在AI行业逐渐走向闭源化和算力壁垒化的背景下，蚂蚁集团的开源实践具有特殊意义。Ling 2.0技术体系证明，通往通用人工智能的道路并非只有堆砌算力一条路径，通过架构创新、精准预测和算法优化，同样能够实现AI能力的高效跃升。这种技术路线不仅降低了AI研发的资源门槛，还为解决算力成本制约提供了新思路，有望推动AI行业进入更加可持续的发展阶段。随着Ring系列推理模型的持续迭代和混合线性架构的探索，Ling 2.0技术体系的潜力正不断释放，为构建更强大、更高效、更通用的AI系统奠定了坚实基础。
这份技术报告的价值不仅在于展示已有的技术成果，更在于为AI社区提供了一种开放协作的研发范式。通过坦诚分享成功经验与失败教训，蚂蚁集团正与全球研究者共同推动AI技术的边界拓展，这种开放创新的理念，或许将成为AI行业突破算力瓶颈、实现可持续发展的关键所在。
【免费下载链接】Ling-mini-2.0 项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-mini-2.0
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
