Your Transformer is Secretly Linear

本文是LLM系列文章，针对《Your Transformer is Secretly Linear》的翻译。

摘要

本文揭示了Transformer解码器独有的一种新的线性特性，包括GPT、LLaMA、OPT、BLOOM等模型。我们分析了序列层之间的嵌入变换，发现了一种近乎完美的线性关系（Procrustes相似性得分为0.99）。然而，由于Transformer层的持续低输出范数，当去除残余分量时，线性度降低。我们的实验表明，去除或线性近似Transformer的一些最线性的块不会显著影响损耗或模型性能。此外，在我们对较小模型的预训练实验中，我们引入了一种基于余弦相似性的正则化，旨在降低层线性度。这种正则化改进了Tiny Stories和SuperGLUE等基准测试的性能指标，并成功地降低了模型的线性度。这项研究挑战了对Transformer架构的现有理解，表明它们的操作可能比以前假设的更线性。

1 引言

2 相关工作

3 预训练架构的分析

4 利用正则化预训练提高线性度

5 利用线性进行修剪

6 结论

在我们的研究中，我们对Transformer解码器中的线性进行了深入的探索，揭示了它们在各种模型中固有的近似线性行为。我们发现，虽然预训练往往会增加层内的非线性，但对特定任务的微调却会矛盾地减少它。我们在先前观察的启发下提出了新的修剪和提取技术，证明了在不影响Transformer模型性能的情况下精整和优化Transformer模型是可能的。在预训练过程中，所建议