Training LLMs over Neurally Compressed Text

本文是LLM系列文章，针对《Training LLMs over Neurally Compressed Text》的翻译。

摘要

在本文中，我们探讨了在高度压缩的文本上训练大型语言模型（LLM）的想法。虽然标准的子词标记器将文本压缩一小部分，但神经文本压缩器可以实现更高的压缩率。如果有可能直接在神经压缩文本上训练LLM，这将在训练和服务效率方面带来优势，并更容易处理长文本跨度。实现这一目标的主要障碍是，强压缩往往会产生不太适合学习的不透明输出。特别是，我们发现通过算术编码天真地压缩的文本不容易被LLM学习。为了克服这一点，我们提出了Equal Info Windows，这是一种新颖的压缩技术，将文本分割成块，每个块压缩到相同的比特长度。使用这种方法，我们展示了在神经压缩文本上的有效学习，这种学习随着规模的增加而提高，并且在困惑和推理速度基准方面大大优于字节级基线。虽然对于用相同参数计数训练的模型，我们的方法比子字标记器带来了更糟糕的困惑，但它的优点是序列长度更短。更短的序列长度需要更少的自回归生成步骤，并减少延迟。最后，我们对有助于学习的特性进行了广泛的分析，并为如何进一步提高高压缩标记器的性能提供了具体的建议。

1 引言

2 动机和背景

3 方法

4 结果

5 附加实验

6 分析

7 结论

我们已经证明，在神经压缩文本上训练LLM的想法是有希望的。在最好的情况下，这将允许在比标准子词标记序列更好压缩的文本上进行训练，同时保