Star-Attention：高效长序列语言模型推理-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00728/article/details/147024985

Star-Attention：高效长序列语言模型推理

Star-Attention Efficient LLM Inference over Long Sequences 项目地址: https://gitcode.com/gh_mirrors/st/Star-Attention

项目介绍

Star Attention 是一种创新的块稀疏注意力机制，旨在为基于 Transformer 的长序列语言模型（LLM）提供高效推理。该机制通过两个阶段工作：

阶段一 - 上下文编码：使用块局部注意力处理上下文令牌，将上下文分割成块，并为每个块加上锚点块前缀。
阶段二 - 查询处理与令牌生成：查询和响应令牌通过序列全局注意力关注所有先前缓存的令牌。

Star Attention 通过保持 95-100% 的准确性，将推理时间提高了高达 11 倍，且与大多数使用全局注意力的 Transformer-based LLM 兼容，无需额外训练或微调即可无缝工作。此外，Star Attention 与其他优化方法（如 Flash Attention 和 KV 缓存压缩技术）正交，可进行潜在的联合增强。

项目技术分析

Star Attention 的核心在于其独特的块稀疏注意力设计，使得在处理长序列时，能够显著减少计算复杂度和内存占用。具体来说，它通过以下技术特点实现优化：

块局部注意力：将长序列划分为较小的块，块内部使用局部注意力机制，减少了跨块的全局注意力计算量。
锚点块：为每个块引入一个锚点块，使得每个块都能够关注到全局上下文的重要部分，而不需要为整个序列进行全局注意力计算。
两阶段处理：首先进行上下文编码，然后进行查询处理和令牌生成，这两个阶段分别优化，使得整体推理效率得到提升。

项目技术应用场景

Star Attention 适用于需要处理长文本序列的场景，例如：

问答系统：在处理长篇文档的问答时，能够快速准确地提取关键信息。
机器翻译：在翻译长篇文档时，能够有效减少推理时间，提高翻译速度。
文本摘要：在生成长文本摘要时，能够快速捕捉文本的关键内容。

项目特点

Star Attention 具有以下显著特点：

高效推理：通过块稀疏注意力机制，显著提高了长序列的推理速度。
准确性保持：在提高推理速度的同时，仍然保持了高达 95-100% 的准确性。
兼容性强：与大多数 Transformer-based LLM 兼容，无需额外训练或微调。
扩展性：与现有优化方法正交，可结合使用以实现更高的性能。

以下表格展示了 Star Attention 与传统环注意力机制在推理速度和准确性方面的对比：

| 模型 | 序列长度 (K) | 块大小 (K) | 环注意力准确性 (%) | Star Attention 变化率 | Star Attention 速度提升 | | --- | --- | --- | --- | --- | --- | | gradientai Llama3-8B-Instruct-1048K | 16 | 4 | 86.12 | +2.47% | 1.1x | | gradientai Llama3-8B-Instruct-1048K | 32 | 8 | 82.52 | +1.54% | 1.2x | | gradientai Llama3-8B-Instruct-1048K | 64 | 16 | 79.05 | +1.28% | 1.8x | | gradientai Llama3-8B-Instruct-1048K | 128 | 32 | 77.39 | +1.23% | 2.7x | | meta-llama Llama-3.1-70B-Instruct | 16 | 4 | 95.09 | -2.85% | 1.7x | | meta-llama Llama-3.1-70B-Instruct | 32 | 8 | 94.61 | -2.70% | 2.0x | | meta-llama Llama-3.1-70B-Instruct | 64 | 16 | 88.54 | -1.63% | 4.7x |

Star Attention 在不同长度的序列上均表现出了显著的推理速度提升，并且在某些情况下，准确性甚至超过了全局注意力。

Star Attention 在 RULER 和 BABILong 上的准确性