TriAttention: Efficient Long Reasoning with Trigonometric KV Compression

TriAttention 论文核心总结 + 关键章节中英对照

一、核心内容总结

1. 研究背景与痛点

大模型长文本推理时，KV 缓存随序列长度线性增长，造成严重显存瓶颈；主流 KV 压缩方法依赖RoPE 后查询计算注意力得分，但查询会随位置旋转，有效观测窗口极小，导致关键 Token 被误删、推理链断裂、精度不稳定。

2. 核心发现

• Pre‑RoPE 空间 Q/K 聚集性：未经位置旋转的 Q/K 向量在绝大多数注意力头中高度聚集在固定非零中心，跨位置、跨上下文保持稳定，不受位置旋转影响。
• 三角级数注意力规律：Q/K 聚集时，注意力分数可简化为仅与 Q‑K 相对距离相关的三角级数，能精准预测不同距离 Key 的注意力偏好。

3. TriAttention 方法框架

1. 离线校准：统计 Pre‑RoPE 空间 Q 中心、范数与聚集度（MRL）。
2. 双分量打分
   • 三角级数得分：用 Q 中心预测距离偏好，评估 Key 未来受关注程