The Garden of Forking Paths:∗Observing Dynamic Parameters Distribution in Large Language Models

本文是LLM系列文章，针对《The Garden of Forking Paths:∗Observing Dynamic Parameters Distribution in Large Language Models》的翻译。

摘要

在理解NLP中Transformer架构的卓越性能背后的原因方面仍然存在很大差距。一个特别未探索的领域涉及训练过程中参数分布如何随时间演变的机制描述。在这项工作中，我们建议，观察模型参数统计分布的时间演变，特别是分叉效应，可以帮助理解模型质量，潜在地减少训练成本和评估工作，并从经验上展示权重稀疏化有效性背后的原因。

1 引言

2 相关工作

3 材料和方法

4 结果

5 结论

在这项研究中，我们分析了训练大型语言模型的时间和空间维度。如上所述，我们的工作是第一次通过借鉴统计力学的计算方法，将网络权重的分布作为一个整体来处理。
更具体地说，这项工作表明，在训练过程中，权重的动力学发生了分叉。在用不同数据集训练的不同大小的各种模型中观察到这种转变。我们对这一方面进行了彻底细致的分析，得出的结论是，这种分叉标志着向平稳状态的转变，这表明进一步的训练不太可能显著改变权重值。因此，一旦达到这种静止状态，就可以有效地终止训练。此外，我们的研究从模型困惑的角度为分叉现象提供了一种可能的解释。
正如在热力学的早期，当经验观察推动技术进步时，我们主张大型语言模型（LLM）的发展以对其内部动力学的观察为基础。重量动力学中稳态的识别体现了这一理念，标志着LLM发展朝着更具观测性和理论依据的方法迈出了一步。
有趣的是，我们最后注意到，复杂网络物理学的最新研究如何将信息路径的多样性作为真实网络稀疏性的主要驱动因