STAR ATTENTION: EFFICIENT LLM INFERENCE OVER LONG SEQUENCES

本文是LLM系列文章，针对《STAR ATTENTION: EFFICIENT LLM INFERENCE OVER LONG SEQUENCES》的翻译。

摘要

由于自注意机制的二次复杂性，使用基于Transformer的大语言模型（LLM）对长序列进行推理既昂贵又缓慢。我们引入了Star Attention，这是一种两阶段块稀疏近似，通过在多个主机上分散注意力来提高计算效率，同时最大限度地减少通信开销。在第一阶段，使用跨主机的块本地注意力并行处理上下文。在第二阶段，查询和响应token通过序列全局关注来处理所有先前缓存的token。Star Attention与大多数经过全局注意力训练的基于Transformer的LLM无缝集成，将内存需求和推理时间减少了11倍，同时保持了95-100%的准确性。

1 引言

2 STAR ATTENTION算法

3 实验

4 消融实验

5 结论

本文介绍了Star Attention，这是一种新的块稀疏注意机制，旨在实现基于Transformer的LLM中长序列的高效推理。该方法分为两个阶段：（1）使用逐块局部注意力处理上下文token，将上下文分割成块，每个块前面都有一个锚块；以及（2）然后查询和响应token通过序列全局关注来处理所有先前缓存的token。Star Attention的速度比Ring Attention快11倍，同时保持95-100%的准确率，显著提高了内存效率和推理速度。将Star Attention扩展到更长的序列（高达1M）和更大的模型，我们观察到更大的加速，同时保持了类似的准