Parcae: 稳定循环语言模型的缩放法则(arXiv:2604.12946)
一、文章核心内容总结
1. 研究背景
传统大模型通过增加参数量/训练数据提升性能,导致内存占用过高、边缘部署困难;循环架构(Looped Architectures)通过复用层块循环激活提升计算量,不增参数量,但训练存在残差爆炸、损失陡增、超参数敏感等不稳定问题,限制规模化应用。
2. 核心问题
现有循环模型不稳定根源:将循环建模为残差流上的非线性时变动力系统,线性近似后发现注入参数矩阵Ā的谱范数过大(ρ(Ā)≥1),导致残差流发散。
3. 核心解决方案:Parcae架构
- 动力系统约束:将状态转移矩阵A参数化为负对角矩阵并离散化,强制谱范数ρ(Ā)<1,从数学上保证稳定。
- 输入归一化:对前置模块输出做层归一化,消除训练后期损失陡增。
- 稳定训练算法:批内逐序列深度采样,修正反向传播截断的分布偏差,进一步抑制损失波动。
4. 核心实验结论
- 效果领先:相比RDM循环模型,验证困惑度
订阅专栏 解锁全文
1211



被折叠的 条评论
为什么被折叠?



