Flash Attention：让Transformer飞起来的硬件优化技术

最新推荐文章于 2025-10-30 15:39:34 发布
原创 最新推荐文章于 2025-10-30 15:39:34 发布 · 1.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

最近在研究大模型优化的时候，深入了解了Flash Attention这个技术。说实话，刚开始听到这个名字的时候，我还以为是某种新的注意力机制，后来才发现这其实是一个非常巧妙的硬件优化方案。今天想和大家分享一下我对Flash Attention的理解。

为什么需要Flash Attention？

要理解Flash Attention，首先得明白传统Attention计算的瓶颈在哪里。

我在二、大模型原理：图文解析Transformer原理与代码这篇文章中有提到，注意力的计算量非常大，我们需要计算Q×K^T，这会产生一个N×N的矩阵（N是序列长度）

问题不仅仅是矩阵大，更关键的是后续的softmax、dropout等操作都属于内存密集型运算，而不是计算密集型。这意味着大量时间都花在了内存读写上，而不是实际的数学运算上。
在这里插入图片描述
注意力机制的耗时最多的是在
在这里插入图片描述

GPU内存层次结构

要理解Flash Attention的工作原理，需要先了解GPU的内存架构：

HBM（High Bandwidth Memory）：这是GPU的主内存，容量大（比如A100有40G或80G），但相对较慢，传输速度约1.5TB/s。我们平时说的"显存不够了"指的就是这块内存。

SRAM（Static RAM）：这是GPU芯片上的缓存，速度极快（约19TB/s）

最低0.47元/天 解锁文章
【CosyVoice2】4「不走 Triton Server，纯 Python gRPC + JIT + vLLM」结果分析
突围
11-25 69
文章摘要： 本文记录了CosyVoice语音合成项目的优化实践，成功结合JIT(TorchScript)和vLLM实现加速方案。测试数据显示音频生成耗时0.75-2.45秒，RTF(实时因子)在0.122-0.341之间。项目采用ONNXRuntime + CUDA/TensorRT EP处理声学模型，vLLM + torch.compile + CUDA Graph处理LLM部分，绕过了Triton Server直接使用Python gRPC方案。关键优化包括Flash Attention后端、编译图缓存
FlashAttention原理：从原始Attention到FlashAttention
qq_43527718的博客
09-26 5635
以前的attention加速方法旨在减少attention的计算和内存需要，如sparse-attention、low-rank approximation等，但由于它们主要关注FLOP reduction，且倾向于忽略内存访问的开销，所以都没有达到wall-clock speedup。FlashAttention比普通attention的HBM（GPU high bandwidth memory）访问量更少，并适用于一系列SRAM大小。
LLM大模型训练加速利器FlashAttention详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-29 7472
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多。通常的优化是针对计算复杂度(通过FLOPs数衡量), 优化会权衡模型质量和计算速度。在FlashAttention中考虑到attention算法也是IO敏感的，通过对GPU显存访问的改进来对attention算法的实现进行优化。
Flash Attention完全指南：从原理到代码，解决大模型显存优化难题
最新发布
Androiddddd的博客
10-30 991
本文详解Flash Attention如何通过分块计算降低注意力机制的时空复杂度，将QK^T大矩阵分块处理，减少GPU HBM访问量并利用更快的SRAM。文章包含标准注意力机制回顾、分块计算数学原理推导、完整的PyTorch代码实现，并提及PyTorch 2.0+已支持原生Flash Attention算法，有效解决大模型训练中的显存占用问题。01我自己的理解是通过将 QK^T 这个大矩阵。
通透理解FlashAttention(含其2代和第3代)：全面降低显存读写、加快计算速度
热门推荐
结构之法 算法之道
10-06 9万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」所以，上面讲到计算注意力的主要瓶颈是显存访问，因此减少对HBM的读写次数，有效利用更高速的SRAM来进行计算是非常重要的，而GPU有大量的线程来执行某个操作，称为。(需要注意的是，模型训练通常会影响到算子融合的效果，因为为了后向传递计算梯度，通常需要将某些中间结果写入到HBM中)
FlashAttention：Fast and Memory-Efficient Exact Attention with IO-Awareness
qq128252的博客
06-29 3680
给 Transformer 配备更长的上下文仍然很困难，因为 Transformer 核心自注意力模块的时间复杂度以及内存复杂度在序列长度上是二次方的。FlashAttention是一种新的注意力机制，旨在解决Transformer在处理长序列时速度慢且内存需求大的问题。FlashAttention的创新之处在于引入了IO（输入/输出）感知的设计原则，专注于减少GPU内存（高带宽内存）和GPU片上内存（SRAM）之间的读写次数。
【大模型训练】Flash Attention详解
weixin_43799388的博客
09-13 5336
FlashAttention系列工作，是一种加速注意力计算方法，目前已经应用在：GPT-3、Falcon2（阿联酋大模型）、Llama2、Megatron-LM、GPT-4等流行LLM上。并且FlashAttention2已经集成到了pytorch2.0中，可以很便捷的调用。1. FlashAttention动机，可以看出由于Transformer中self-attention 的时间和内存复杂度是序列长度的二次方，所以序列过长时，算法速度会变慢，需要消耗很高的内存，导致低效的。
Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?
张伟的专栏
04-19 5807
KV cache对应的优化方法，总结成下表：​由上表可以看出，KV cache是个值得投入精力去研究的一个重要方向，算法上有着许多未知的方法可以去探索，工程上相对滞后，至少在主流推理框架上对部分方向的优化策略相对保守，这就给了足够多的机会。
优化大型语言模型（LLM）的推理过程及挑战解决方案
张伟的专栏
04-20 2042
2023年11月20日 由 daydream 发表4940通过堆叠transformer层来创建大型模型可以在各种语言任务上实现更好的准确性、小样本学习能力，甚至接近人类的新兴能力。然而，训练这些基础模型的成本很高，在推理过程中可能需要大量的存储和计算资源（持续成本）。当今最流行的大型语言模型（LLM）在规模上可以达到数千亿到数百亿个参数的大小，并且根据使用情况，可能需要处理长输入（或上下文），这也可能增加成本。本文讨论了LLM推理中最紧迫的挑战，以及一些实际解决方案。
51c~Transformer~合集1
whaosoft~aiotの开发板商城
12-08 1560
自注意力机制自2017年在开创性论文《Attention Is All You Need》中被提出以来，已成为最先进深度学习模型的核心，尤其是在自然语言处理（NLP）领域。考虑到其广泛应用，深入理解自注意力的运作机制变得尤为重要。图1：原始Transformer架构在深度学习中，"注意力"概念的引入最初是为了改进递归神经网络（RNNs）处理长序列或句子的能力。例如，在机器翻译任务中，逐字翻译通常无法捕捉语言的复杂语法和表达方式，导致翻译质量低下。
【大模型加速】三分钟速通Flash Attention (flash_attn)安装
HovChen的博客
02-24 1万+
Flash Attention快速安装教程
Flash attention入门
weixin_40777649的博客
05-15 2577
flashAtention其加速的原理是非常简单的，也是最基础和常见的系统性能优化的手段，即通过利用更高速的上层存储计算单元，减少对低速更下层存储器的访问次数，来提升模型的训练性能。首先，从HBM中读取完整的Q和K矩阵（每个大小为N x d），计算点积得到相似度得分S（大小为N x N），需要进行O(Nd + N^2)次HBM访问。将原始的注意力矩阵分解成更小的子矩阵，然后分别对这些子矩阵进行计算，只要这个子矩阵的大小可以在SRAM内存放，就可以在计算过程中只访问SRAM。
大模型-FlashAttention 算法分析
点滴的岁月
06-25 1499
首先，我们将输入序列的查询（Query）矩阵Q、键（Key）矩阵的转置K^T和值（Value）矩阵V分别进行分块。Q分为Tr个块，每个块的大小为(Br, d)，其中Br是块的长度，d是向量的维度。K^T分为Tc个块，每个块的大小为(d, Bc)。V分为Tc个块，每个块的大小为(Bc, d)。前两小节是伪代码的11， 12 的计算定义计算的背景。f(x)的计算，可以构造。
FlashAttention
maxzcl的博客
05-03 1673
paper: https://arxiv.org/abs/2205.14135an informal talk by the author Tri Dao: https://www.youtube.com/watch?v=FThvfkXWqtEcode repo: GitHub - HazyResearch/flash-attention: Fast and memory-efficient exact attention introduction to transformer: Transformer a
FlashAttention：从原理到落地全解读
qq_55027725的博客
06-27 2654
FlashAttention极大改变了Transformer大模型训练/推理的性能边界，推动了长文本、超大Batch等任务的落地。它没有改变Attention的表达能力，仅仅是极致优化了存储和带宽效率，是工程和算法的双重创新。未来，大模型推理和训练会越来越依赖类似FlashAttention这样的硬件友好、近似零损失的优化算子。随着FlashAttention3、内存亲和Attention等新算法问世，我们很快将能在桌面级甚至边缘设备上运行原本需要几百GB显存的大模型。
一文搞懂FlashAttention
和大家一起涨芝士
08-18 1246
FlashAttention 是由 Stanford Hazy Research 团队提出的一种高效实现方式，专为 GPU 设计，通过 I/O 感知（IO-aware）的优化策略，在不损失精度的前提下显著加速 Attention 计算并降低显存占用。
Flash Attention（1）：背景介绍，与传统Attention对比，前向反向算法解析
呆呆象呆呆的博客
12-20 5435
输入1:QQQ序列（query），其中Qq1q2q3⋮qm⏟dkm∈Rm×dkqi∈R1×dk∣i∈12m⎩⎨⎧​Qdk​​q1​q2​q3​⋮qm​​​​​m∈Rm×dk​qi​∈R1×dk​∣i∈12m⎭⎬⎫​输入2:KKK序列 (key)，其中Kk1k2k3⋮km⏟dkm∈Rm×dk。
flash-attention保姆级安装教程
A15216110998的专栏
12-31 2万+
FlashAttention 是一种高效且内存优化的注意力机制实现，旨在提升大规模深度学习模型的训练和推理效率。：通过优化 IO 操作，减少内存访问开销，提升计算效率。：降低内存占用，使得在大规模模型上运行更加可行。：保持注意力机制的精确性，不引入近似误差。FlashAttention-2 是 FlashAttention 的升级版本，优化了并行计算策略，充分利用硬件资源。改进了工作负载分配，进一步提升计算效率。
FlashAttention的核心优化原理解析（快收藏）
Jason160918的博客
01-29 1552
这个代码实现了一个基本的注意力机制，其中包括将输入分割成多个头、计算查询和键之间的得分、应用 softmax 函数进行归一化、结合值，以及最后的输出线性层。请注意，这不是一个完整的、优化的实现，而是为了演示其核心思想而设计的。在传统的注意力机制中，计算过程需要频繁地读写内存，这会导致显著的延迟。它对矩阵乘法（Transformer 中注意力机制的关键操作）进行了优化，以减少不必要的计算和提高并行处理能力。对于长序列，FlashAttention 可能采用分块处理的方法，将长序列分成较小的部分进行并行计算。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非常大模型

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值