Transformers Can Achieve Length Generalization But Not Robustly

本文是LLM系列文章，针对《Transformers Can Achieve Length Generalization But Not Robustly》的翻译。

摘要

长度泛化，定义为从较短的训练序列外推到较长的测试序列的能力，对语言模型来说是一个重大挑战。即使大型Transformers处理相对简单的任务，这个问题仍然存在。在本文中，我们使用两个整数相加的任务来测试Transformer的长度泛化能力。我们表明，长度泛化的成功与数据格式和位置编码的类型密切相关。使用数据格式和位置编码的正确组合，我们首次展示了标准Transformers可以外推到2.5×输入长度的序列长度。然而，与分布泛化不同，长度泛化仍然很脆弱，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间的差异很大。

1 引言

2 位置编码和数据格式

3 十进制加法中的长度泛化公式

4 实验

5 分析

6 相关工作

7 结论

Transformers中的长度泛化一直是一个长期的挑战。我们使用十进制加法任务来评估Transformers推广到更长测试序列的能力。通过大量的实验，我们发现Transformers的设计不存在阻碍有效长度泛化的固有限制。相反，缺少的是数据格式和位置编码的正确组合。我们