2025_NIPS_Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

文章核心总结与创新点

一、主要内容

本文聚焦大型语言模型（LLMs）架构设计的系统性理解难题，针对真实世界预训练中存在的指标不可靠、噪声干扰、数据质量影响等问题，提出了“智能原子分解”研究框架：通过设计5个可控的合成预训练任务（DEPO、BREVO、CAPO、MANO、LANO），分别隔离评估模型的推理深度、推理广度、知识容量、知识操纵和层级语言结构处理等核心能力，进而发现并验证了Canon层的有效性。

Canon层是一种轻量型架构组件，灵感源自音乐“卡农”的重叠重复概念，通过计算相邻token表示的加权和促进水平信息流，可无缝集成到Transformer、线性注意力模型、状态空间模型等各类序列架构中。研究通过合成任务测试和学术规模（1.3B参数、100B tokens）真实世界预训练验证，证实Canon层能显著提升模型性能（如推理深度提升2倍），可将NoPE、GLA等弱势架构性能提升至RoPE、Mamba2水平，同时揭示了不同架构的固有优劣（如全Transformer在层级推理上优于线性模型）。

二、创新点

1. 提出合成预训练框架：构建5个针对性合成任务，实现对模型核心能力的独立隔离评估，解决了真实世界数据技能混合、噪声干扰、成本高昂的问题，为架构比较提供了经济、严谨的实验环境。
2. 发现Canon层：设计轻量且通用的Canon层，通过增强水平信息流，在不显著增加计算开销的前提下，普遍提升各类架构的推理能力和扩展性，适配Transformer、线性注意力、状态空间模型等多种架构。
<