Massive Activations in Large Language Models

本文是LLM系列文章，针对《Massive Activations in Large Language Models》的翻译。

摘要

我们在大型语言模型（LLM）中观察到一种经验现象——很少有激活显示出比其他激活大得多的值（例如，大100000倍）。我们称之为大规模激活。首先，我们证明了大规模激活在各种LLM中的广泛存在，并描述了它们的位置。其次，我们发现无论输入如何，它们的值在很大程度上都保持不变，并且它们在LLM中起着不可或缺的偏置项的作用。第三，这些大规模激活导致注意力概率集中到其相应的表征上，进而导致自我注意力输出中的隐性偏差项。最后，我们还研究了视觉transformer中的大规模激活。

1 引言

2 大规模激活

3 大规模激活在LLM中起到偏见的作用

4 对注意力的影响

5 视觉transformer中的大规模激活

6 相关工作

7 结论

大型transformer的自回归训练在自然语言处理方面取得了重大进展。这项研究揭示了在这些大型语言模型（LLM）中广泛存在的大规模激活。这些激活的值与输入无关，但对模型性能至关重要，尽管它们的数量极为罕见。我们在大量激活和自我注意机制之间建立了密切的联系。我们展示了LLM使用它们来实现注意力计算的隐含