Transformers Can Do Arithmetic with the Right Embeddings

本文是LLM系列文章，针对《Transformers Can Do Arithmetic with the Right Embeddings》的翻译。

摘要

transformer在算术任务中的糟糕性能似乎在很大程度上源于它们无法跟踪大跨度数字中每个数字的确切位置。我们通过在每个数字上添加一个嵌入来修复这个问题，该嵌入对其相对于数字开头的位置进行编码。除了这些嵌入本身提供的增强功能外，我们还表明，此修复还可以进行架构修改，如输入注入和递归层，从而进一步提高性能。
通过求解位置，我们可以研究Transformer的逻辑外推能力。他们能解决比训练数据中更大、更复杂的算术问题吗？我们发现，用一个GPU只在20位数字上训练一天，我们就可以达到最先进的性能，在100位加法问题上实现高达99%的准确率。最后，我们展示了算术方面的这些进步也带来了对其他多步骤推理任务的改进，包括排序和乘法。

1 引言

2 相关工作

3 实现加法的长度泛化

4 突破Transformer算法推理的极限

5 讨论和局限性

尽管LLM的能力已经发展到足以涵盖包括代码生成和数学推理在内的复杂任务，但对这些模型的极限进行压力测试仍然是一个挑战。在本文中，我们研究了数学推理任务，包括加法、乘法和排序，以在受控环境中评估这些能力。我们分析了专门语言模型在零样本环境中学习算法任务的能力，而无需访问代码解释器等外部工具，探索了各种架构改进的好处，如改进的嵌入和递归层。
在我们的实验中，我们发现我们的新型算术嵌入在应用于标准Transformer和反复出现的变体时都能显著提高