【万字长文｜建议收藏】一文讲透注意力机制演进全解析

关注

原创最新推荐文章于 2026-03-27 09:53:32 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

万字长文，解读大模型技术原理（非常详细）零基础入门到精通，收藏这一篇就够了 1）突破了远距离文本依赖的学习限制，避开了递归网络的模型体系结构，并且完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。2）可高度并行进行训练，这对发挥硬件红利以及快速迭代模型非常重要。下图是论文提到的Transformer模型，对编码器和解码器使用堆叠式的自注意力和逐点式、全连接层，分别如图1的左半部分（编码器）和右半部分（解码器）所示，相关技术细节后面会重点讲到。阅读详情

引言：注意力——现代AI的核心驱动力

注意力不仅是人类认知的核心概念，更是现代人工智能模型的驱动力。Transformer以其注意力机制彻底革新了深度学习，但这一探索并未止步于密集注意力。本文将深入解析六种强大的注意力变体：密集注意力、线性注意力、稀疏注意力、Flash注意力、分页注意力和局部注意力——每种机制都在序列建模中解决了独特的挑战。

六种注意力机制的直观对比

在这里插入图片描述

通过注意力热图，我们可以直观比较六种机制的核心差异：

密集（全）注意力：每个标记关注所有其他标记（全矩阵）。
线性注意力：以高效计算模式（对角线模式）执行注意力。
稀疏注意力：仅关注少数选定标记，减少计算量。
Flash Attention：使用平铺分块（中心块）高效计算密集注意力。
分页注意力：在内存高效的块（分页块）内执行注意力。
局部注意力：每个标记仅关注附近标记（对角带）。

1. 密集（完全）注意力

在这里插入图片描述

概述

密集注意力首次出现在原始Transformer论文（Vaswani等人，2017）中，允许序列中的每个标记关注所有其他标记。这种全连接特性使模型能够捕捉丰富的全局依赖关系，但其代价是二次时间和内存复杂度。

分步解析

步骤1：输入嵌入

假设输入序列有n个标记（如“Read Our Example Sentence”），每个标记表示为d维向量。将这些向量堆叠形成矩阵：。

步骤2：创建Q、K、V矩阵

对于每个注意力头（如8个头），使用独立的学习矩阵（）计算查询（Query）、键（Key）和值（Value）：
，其中。

步骤3：缩放点积注意力

对每个头i：

步骤4：多头拼接

合并所有头的输出：

步骤5：最终线性投影

使用权重矩阵应用最后一次投影：

公式总结

复杂度

时间：
空间：

优势

捕捉完整上下文：每个标记可关注所有其他标记，实现丰富的全局理解。
高表达能力：强大的复杂依赖和长距离关系建模能力。
广泛应用：用于BERT、GPT等基础模型。

局限

计算昂贵：随序列长度呈二次方增长。
长序列不可扩展：对数千标记以上的输入不实用。
无内置偏置：除非显式训练，否则不利用局部模式。

实际应用

机器翻译：通过捕捉整句上下文实现精准翻译。
文本摘要：生成摘要时考虑文档所有部分。
问答系统：支持跨多个标记和段落的推理。
代码生成与自动补全：利用完整代码上下文预测准确补全。

应用模型

BERT、GPT-2/GPT-3、T5、ViT（对图像块应用密集注意力）、XLNet、RoBERTa等。

2. 线性注意力

概述

标准自注意力与序列长度呈二次方缩放，因其计算n×n的完整注意力矩阵。为解决低效问题，Katharopoulos等人（2020） 引入线性注意力，通过基于核的特征映射和矩阵乘法结合律避免计算完整矩阵。

分步解析

步骤1：缩放点积注意力回顾

标准注意力公式：

其二次复杂度源于计算。

步骤2：基于核相似度的泛化

Katharopoulos等人使用核函数重新定义注意力：

其中：

是特征映射（如ReLU、ELU+1、exp），应用于Q和K的每行。
仅计算一次，与查询无关。
分母确保归一化，类似softmax作用。

步骤3：利用结合律提升效率

关键技巧：矩阵乘法具有结合律。
传统计算：
优化后：

计算（形状：）
计算输出：（形状：）
代价现为序列长度的线性：。

步骤4：最终公式（含可选归一化）

常见特征映射选择：。

复杂度

时间：
空间：

优势

长序列更快：线性而非二次缩放。
内存占用少：支持训练更大模型或更长输入。
实时/流式处理友好：可增量处理数据。
硬件友好：更易并行化，训练更快。

局限

可能降低精度：近似可能丢失细粒度细节。
短序列非理想：开销可能得不偿失。
核函数选择棘手：错误选择影响性能。
工具支持较少：不如基于softmax的方法成熟。

实际应用

长文档理解：如法律文档、研究论文。
基因组学：分析长DNA序列。
时间序列预测：尤其含长历史数据时。
流式应用：语音识别、在线翻译。

应用模型

Performer（使用带随机特征的核基线性注意力）、Linformer（将键/值投影到低秩以实现线性复杂度）、Linear Transformers（Katharopoulos等人的核心论文模型）。

3. 稀疏注意力

概述

在Transformer使用的标准注意力中，每个标记关注所有其他标记，导致：

时间和内存复杂度，N为序列长度。

稀疏注意力技术通过以下方式优化：

限制每个标记可关注的位置数量，而非全部。
根据稀疏模式将复杂度降至甚至。

分步解析

步骤1：定义稀疏模式

定义每个标记可关注的标记，常见模式包括：

固定模式：
- 局部注意力（滑动窗口）：每个标记仅关注局部邻域（如大小为w的窗口），复杂度。

跨步注意力：每个标记关注每隔k个标记（捕捉周期性模式）。

学习模式：
- Reformer的LSH注意力：使用局部敏感哈希（LSH）将相似查询和键聚类到桶中，查询仅关注同桶键，复杂度。
- 路由Transformer：通过聚类机制学习标记间的关注关系。
全局+局部注意力：部分标记（如BERT中的[CLS]）关注所有标记，其他使用局部注意力。
随机稀疏连接：随机关注少数标记。

步骤2：仅在稀疏索引上计算注意力

给定稀疏模式S，构造掩码，计算：

其中为逐元素乘积，掩码掉无关分数。

步骤3：仅在关注的标记上归一化

标准softmax对所有标记归一化，而稀疏注意力仅对关注的标记归一化：

为标记i关注的标记集合。

步骤4：计算加权和（同标准流程）

仅关注的标记贡献最终输出。

复杂度

时间：或
空间：或

优势

减少内存：仅存储注意力分数，而非。
计算更快：执行更少点积（如局部注意力的）。
可扩展性：支持处理更长序列（如Reformer处理64K标记）。
可解释性：部分模式（如局部注意力）模仿人类阅读行为。

局限

全局上下文丢失：固定模式可能错过长距离依赖。
非局部依赖处理：需额外机制（如全局标记或分层注意力）。
最优稀疏模式选择：依赖具体任务。

实际应用

长文档处理：使用Longformer（滑动窗口+全局注意力）总结法律合同或书籍。
DNA序列分析：用BigBird（随机+局部+全局注意力）高效建模基因组序列。
语音识别：用稀疏Transformer（跨步+局部注意力）转录长时间音频。
高分辨率图像生成：使用块稀疏视觉Transformer生成1024×1024图像。

应用模型

Longformer（结合局部滑动窗口与任务特定全局注意力）、BigBird（混合随机、局部、全局注意力）、Sparse Transformers（使用固定或学习的块稀疏模式）。

4. Flash Attention

概述

Flash Attention是一种优化的注意力算法，通过以下方式显著加速Transformer模型并减少内存使用：

高效利用GPU内存层级：精心管理SRAM、HBM、DRAM间的数据移动。
融合多操作：将softmax、dropout、矩阵乘法融合为单个内核。
避免存储大型中间矩阵（如QKᵀ） 在GPU高带宽内存（HBM）中。

其核心创新在于对现代GPU内存层级的感知：

小型SRAM带宽极高（19 TB/s）但容量有限（20MB）。
HBM容量更高（40GB）但带宽较低（1.5 TB/s）。
CPU DRAM容量极大（>1TB）但带宽更慢（12.8 GB/s）。

分步解析

步骤1：内存感知的平铺策略

FlashAttention智能将注意力计算划分为内存高效的块：

输入分块：将Q（N×d）、K（d×N）、V（N×d）划分为适合GPU SRAM的块（典型16–64KB）。
双循环处理：
1. 外层循环：将K和V的块从慢速HBM（1.5TB/s）加载到快速SRAM（19TB/s）。
2. 内层循环：用加载的K/V块处理Q块。
关键优势：从不具体化完整的N×N注意力矩阵，支持处理比传统注意力长4倍的序列。

步骤2：单遍融合内核执行

用统一操作替代传统多步注意力：

融合操作：将矩阵乘法→缩放→掩码→softmax→dropout→矩阵乘法合并为单个CUDA内核。
内存层级优化：
1. 中间结果（QKᵀ、softmax输出）保留在SRAM/寄存器中。
2. 仅最终注意力输出写入HBM。
性能影响：相比PyTorch实现，减少10–20倍HBM访问。

步骤3：增量注意力计算

实现块处理的新型数学技术：

使用在线归一化器计算softmax，避免块处理中的数值不稳定性。
安全softmax：跨块维护运行统计（最大值、归一化因子）。
重缩放技巧：当新块引入更大值时，修正先前部分结果。
精度保持：尽管分块计算，仍与标准注意力输出完全一致。

步骤4：零开销输出完成

以最小内存流量完成处理：

写入优化：仅将最终注意力输出（N×d）写入HBM。
无中间存储：避免存储QKᵀ矩阵、注意力权重、dropout掩码，节省大量空间。
带宽节省：对8K序列，相比基线减少95%内存传输。

复杂度

时间：（与标准注意力相同）
空间：（标准注意力为）

优势

速度：比标准注意力实现快2–4倍。
内存效率：长序列内存使用减少10–20倍。
精确计算：不同于近似方法，计算精确注意力。
可扩展性：支持处理更长序列。
能源效率：减少内存带宽使用，节省功耗。

局限

实现复杂度：需要底层CUDA编程专业知识。
模式固定：不如某些稀疏注意力方法灵活。
块大小依赖：性能取决于选择最优块大小。
硬件特定：专为GPU内存层级优化。

实际应用

大型语言模型（支持更长上下文的训练和推理）、基因组序列分析、高分辨率图像处理、文档理解、语音处理。

应用模型

GPT-2/GPT-3（后续版本整合Flash Attention优化）、LLaMA、BERT变体、视觉Transformer、Longformer（结合Flash Attention与稀疏模式）。

5. 分页注意力

概述

分页注意力由vLLM（伯克利LLM团队）提出，是一种高效注意力机制，用于加速大型语言模型（LLM）的推理，尤其适用于同时处理多个用户请求的场景。它借鉴了操作系统中虚拟内存分页的思想，在批量解码期间为键/值（KV）缓存提供细粒度内存管理。

分页注意力通过为KV缓存提供动态、非连续内存分配，改善吞吐量和内存利用率，替代传统导致内存碎片化和低效的整体分配方式。

分步解析

步骤1：理解标准注意力中的KV缓存

在基于Transformer的LLM中，自回归生成时每个标记关注所有先前生成的标记。为避免每一步重计算键和值，使用键/值（KV）缓存。
在标准注意力中：

每个请求（序列）获得专属KV缓存块。
标记按顺序追加，形成连续内存块。
序列间无共享，即使内容部分相同。
问题：固定且不共享的分配导致内存浪费，难以处理序列间变化的提示长度，动态批处理灵活性有限。

步骤2：引入“页面”概念与逻辑/物理缓存

分页注意力引入以下分离：

逻辑KV缓存块：每个序列（如Seq A或Seq B）看到的抽象标记布局。
物理KV缓存块：存储键和值的实际内存页，可在序列间共享。
每个标记的数据存储在小型固定大小内存页中，类似操作系统内存分页。
关键特点：
页面通过页表动态分配和映射。
多个逻辑序列（如Seq A和Seq B）若标记匹配（如公共前缀），可共享相同物理内存。
通过逻辑到物理转换实现非连续内存访问。

步骤3：使用共享内存和写时复制优化

生成期间：

注意力机制通过遵循页表为序列收集键和值。
具有共享前缀的序列（如“The future of artificial intelligence”）映射到相同物理缓存块。
当序列 diverge（如Seq A生成“likely”，Seq B不生成），分页注意力使用写时复制：
1. 克隆共享页。
2. 仅 diverging 序列（如Seq A）获取新页。
3. 共享页的引用计数递减。

步骤4：大规模高效多序列推理

分页注意力为多用户大语言模型推理提供了高度可扩展且灵活的设计，其核心优势体现在以下关键机制：

动态批处理（Dynamic Batching）

传统注意力机制要求批量处理的序列具有相同长度（通过padding实现），导致内存浪费。而分页注意力支持异构序列动态聚合：

长度自适应：不同提示长度的序列（如短查询与长文档）可同时批处理，无需统一填充至最大长度。
生成路径分离：多个序列在生成过程中即使出现分支（如不同回答方向），仍可共享未分歧的KV缓存，避免重复计算。
实时调度：新用户请求可动态加入批处理，无需等待当前批次完成，显著提升服务吞吐量。

内存效率优化：共享物理页与引用计数

分页注意力通过物理内存共享解决传统方案的碎片化问题：

前缀共享机制：当多个序列包含相同文本前缀（如公共指令“请总结以下内容：”），其对应的KV缓存会映射到同一物理内存页，减少冗余存储。
写时复制（Copy-on-Write）：仅当序列生成内容出现分歧时，才克隆并分配新物理页，避免预分配带来的内存浪费。
引用计数管理：系统自动跟踪物理页的使用情况，当所有逻辑序列不再引用某页时，释放对应内存，实现动态回收。

GPU利用率最大化

分页注意力通过非连续内存访问优化硬件资源调度：

并行计算加速：不同序列的KV缓存可分布在GPU内存的不同区域，支持并行读取与计算，减少内存访问冲突。
缓存命中率提升：利用GPU的缓存层次结构（如L1/L2缓存），频繁访问的KV块可驻留在高速缓存中，降低HBM带宽压力。
计算-内存重叠：在生成当前token的同时，预加载下一批次的KV块，隐藏内存延迟。

运行时灵活性设计

分页注意力支持推理过程中的动态调整：

序列动态增删：可在推理过程中添加新序列或终止低效序列，无需重构整个批处理内存结构。
优先级调度：高优先级请求（如实时对话）可抢占低优先级任务的内存资源，保证响应延迟。
自适应批大小：根据当前GPU内存占用自动调整批处理大小，避免因内存不足导致的服务中断。

复杂度分析

时间复杂度

单序列推理：与传统注意力相同，每个token的计算复杂度为（为上下文长度，为隐藏层维度）。
多序列批处理：由于物理页共享与动态调度，实际计算量接近所有序列的总token数乘以，而非传统方案中“批大小×最大序列长度×”，尤其适合处理变长序列。

空间复杂度

传统方案：，受限于最长序列的填充长度。
分页注意力：，仅存储所有序列实际生成的token对应的KV缓存，内存利用率提升30%~50%。

分页注意力的优点

内存效率革命：通过动态分页与共享机制，相同硬件可支持更大批量的推理，或运行参数量更大的模型。
吞吐量提升：相比传统方案，多用户场景下的请求处理速度提升2~3倍，尤其适合聊天机器人、API服务等高频交互场景。
成本优化：减少GPU显存占用，降低分布式推理的硬件成本，中小企业可通过商用GPU部署大规模LLM服务。
工程适配性：无需修改模型架构，仅通过替换推理后端（如vLLM）即可集成，兼容LLaMA、GPT-NeoX等主流模型。

分页注意力的局限性

实现门槛较高：需要定制化的运行时系统（如vLLM），依赖底层内存管理与调度算法，开发成本高于传统方案。
训练阶段无效：分页机制仅优化推理时的KV缓存，训练过程中仍需采用传统注意力，无法减少训练内存消耗。
短序列场景 overhead：对于极短序列（如单个token请求），页表管理与共享机制的开销可能抵消内存收益，更适合中长序列推理。

实际应用场景

对话系统与聊天机器人

多轮对话管理：处理数千用户同时进行的多轮对话时，分页注意力可共享对话历史中的公共部分（如系统提示），减少内存占用。
实时响应优化：通过动态批处理与优先级调度，保证客服机器人对用户查询的毫秒级响应。

大规模API推理服务

异构请求处理：同时处理文本生成、代码补全、问答等不同类型的请求，每个请求的上下文长度可动态变化。
流量突发应对：在峰值流量时自动扩展批处理大小，避免因内存不足导致服务降级。

流式生成应用

增量解码支持：在语音转文本、实时翻译等场景中，支持边生成边释放过期KV缓存，实现无限上下文的流式推理。

典型应用案例

vLLM推理引擎：作为分页注意力的核心实现，vLLM已被用于加速LLaMA、Mistral等模型的推理，在A100 GPU上处理8K上下文时，吞吐量比传统方案提升10倍以上。
Hugging Face推理服务：通过集成vLLM后端，Hugging Face API支持同时处理数万个用户请求，且内存占用降低40%。
企业级对话平台：某智能客服系统采用分页注意力后，单台A100服务器可同时支持500路并发对话，较之前方案节省3台服务器。