RelayAttention：让大型语言模型更高效地处理长提示符

一、前言

虽然大型语言模型 (LLM) 近年来取得了非常显著的进展，也在各种自然语言处理任务中展现出强大的能力。然而，LLM 的在实际的应用落地层面也面临着一些实际挑战，其中之一就是效率和成本问题，导致了在垂直行业实际落地的应用非常少。因为现有的 LLM 通常需要大量的计算资源和内存，这限制了它们在实际应用中的部署。

特别是在处理长文本输入时，LLM 的效率问题尤为突出。这是因为 LLM 需要存储和处理大量的中间结果，而长文本输入会导致中间结果的数量急剧增加。为了解决这个问题，研究人员提出了各种方法来提高 LLM 的效率，例如模型压缩、剪枝和量化等。

最近，由香港城市大学朱磊和商汤研究院联合发布的研究论文《RelayAttention for Efficient Large Language Model Serving with Long System Prompts》中提到 RelayAttention 是一种新的注意力机制，可以有效地提高 LLM 处理长文本输入的效率。RelayAttention 通过减少内存访问冗余来实现这一点，它允许 LLM 在处理一批输入词时仅从内存中读取一次隐藏状态，而不是多次读取。这可以显著减少 LLM 的计算量和内存占用，从而提高其效率。

从上图中的测试结果对比，可以看到 RelayAttention 将 LLM 的吞吐量提高了 75%。这意味着使用 RelayAttention 的 LLM 可以在相同的时间内处理比使用传统注意力机制的 LLM 多 75% 的请求。

1、延迟与系统提示长度： 左侧图表显示了不同注意力机制的延迟随系统提示长度的增加而变化的情况。RelayAttention（蓝色条形图）在所有提示长度中都具有最低的延迟，对于最长的