SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator

本文是LLM系列文章，针对《SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator》的翻译。

摘要

大型语言模型（LLM）在一系列自然语言处理任务中表现出了卓越的性能。然而，由于其二次复杂性，它们的巨大尺寸带来了相当大的挑战，特别是在计算需求和推理速度方面。在这项工作中，我们发现了一个关键模式：与语义上有意义的token相比，某些看似无意义的特殊token（即分隔符）对注意力得分的贡献不成比例。这一观察表明，这些分隔符token之间的段的信息可以有效地压缩到分隔符token本身中，而不会丢失大量信息。在这一见解的指导下，我们介绍了SepLLM，这是一个即插即用的框架，通过压缩这些段并消除冗余token来加速推理。此外，我们实现了高效的内核来加速训练。在无训练、从头开始训练和训练后设置中的实验结果证明了SepLLM的有效性。值得注意的是，使用Llama-3-8B骨干网，SepLLM在GSM8K CoT基准上实现了KV缓存减少50%以上，同时保持了相当的性能。此外，在流媒体环境中，SepLLM有效地处理了多达400万个或更多token的序列，同时保持了一致的语言建模能力。

1 引言

2 相关工作

3 方法

4 实验和结果

5 结束语

在本文中，我们专注于高效的神经架构修改，以解决与处理大型语言模型中的长上下文相关的计算和存储挑战。从注意力图的可视化中，我们发现某些分隔符token持续贡献高注意力得分。受此观察的启发，我们引入了SepLLM，这是一种稀疏注意力机制，它将注意力计算集中在初始token、相邻tok