Extending Language Model Context Up to 3 Million Tokens on a Single GPU

本文是LLM系列文章，针对《Extending Language Model Context Up to 3 Million Tokens on a Single GPU》的翻译。

摘要

在现代大型语言模型（LLM）中，处理非常长的上下文长度带来了重大挑战，因为它会导致推理速度减慢和内存成本增加。此外，大多数现有的预训练LLM无法超越其原始训练序列长度。为了实现高效实用的长上下文利用，我们引入了InfiniteHiP，这是一种新颖实用的LLM推理框架，通过模块化分层token修剪算法动态消除不相关的上下文token来加速处理。我们的方法还允许通过根据LLM内的内部注意力模式选择性地应用各种RoPE调整方法来泛化更长的序列。此外，我们在推理过程中将键值缓存卸载到主机内存，从而显著降低了GPU内存压力。因此，InfiniteHiP能够在单个L40s 48GB GPU上处理多达300万个token，而不会永久丢失上下文信息。我们的框架在100万个token上下文中实现了18.95倍的注意力解码加速，而不需要额外的训练。我们在SGLang框架中实现了我们的方法，并通过广泛的评估证明了其有效性和实用性。

1 引言

2 相关工作

3 动机和观察

4 InfiniteHiP设计

5 实验

6 结论

本文介绍了InfiniteHiP，这是一个无需训练的LLM推理框架，用于高效的长上下文推理，支持超长泛化和动态KV缓存卸载。InfiniteHiP有效地解决了长上下文LLM推理中出现的三个主要挑战：（1）长上下文的高效推理，（2）超长