Your Transformer is Secretly Linear

最新推荐文章于 2025-11-25 14:31:30 发布

UnknownBody

最新推荐文章于 2025-11-25 14:31:30 发布

阅读量119

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签： transformer 深度学习人工智能语言模型

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139260480

LLM Daily 专栏收录该内容

1690 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

研究发现Transformer解码器如GPT、LLaMA等展现出近似的线性特性，序列层间存在高线性关系。去除残差后线性度降低，而线性近似或修剪部分线性块不影响模型性能。提出基于余弦相似性的正则化在预训练中提升线性度，优化Tiny Stories和SuperGLUE等任务的性能，同时降低线性度。

本文是LLM系列文章，针对《Your Transformer is Secretly Linear》的翻译。

摘要

本文揭示了Transformer解码器独有的一种新的线性特性，包括GPT、LLaMA、OPT、BLOOM等模型。我们分析了序列层之间的嵌入变换，发现了一种近乎完美的线性关系（Procrustes相似性得分为0.99）。然而，由于Transformer层的持续低输出范数，当去除残余分量时，线性度降低。我们的实验表明，去除或线性近似Transformer的一些最线性的块不会显著影响损耗或模型性能。此外，在我们对较小模型的预训练实验中，我们引入了一种基于余弦相似性的正则化，旨在降低层线性度。这种正则化改进了Tiny Stories和SuperGLUE等基准测试的性能指标，并成功地降低了模型的线性度。这项研究挑战了对Transformer架构的现有理解，表明它们的操作可能比以前假设的更线性。

1 引言

2 相关工作

3 预训练架构的分析

4 利用正则化预训练提高线性度

5 利用线性进行修剪

6 结论

在我们的研究中，我们对Transformer解码器中的线性进行了深入的探索，揭示了它们在各种模型中固有的近似线性行为。我们发现，虽然预训练往往会增加层内的非线性，但对特定任务的微调却会矛盾地减少它。我们在先前观察的启发下提出了新的修剪和提取技术，证明了在不影响Transformer模型性能的情况下精整和优化Transformer模型是可能的。在预训练过程中，所建议