FlashDecoding

于 2025-02-12 20:49:17 发布
阅读量246 收藏 1
点赞数 6
分类专栏： LLM推理优化 文章标签： 大模型 GPU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/145599502
版权

Flash Attention是将Q划分到所有SM block上。每个SM block上的Q，负责和所有K和所有V进行计算，得到对应的结果。期间，SM block彼此之间，不需要通信。

在prefill阶段，seqLength*batchSize*Heads足够多，所以每个SM block上有足够多的Query。

但是，在decoding阶段，因为Query的seqLength=1，且batchSize=1，因此SM block数目无法都利用上。

解决方法：

将K和V均分成几份，划分给SM block。缺点：最后需要将不同SM block上的中间结果，进行通信，进行归一化的softmax和结果Reduce。

动图：

大模型推理加速之Flash Decoding：更小子任务提升并行度 - 知乎

解码加速：Flash-Decoding 让长文本推理更快
步子哥的博客
06-11 1575
大型语言模型（LLM）如 ChatGPT 和 Llama 近年来备受关注，但它们的运行成本依然高昂。即使生成单个回复可能只需要 0.01 美元（在 AWS 上使用 8xA100 实例运行几秒钟），但当扩展到数十亿用户时，成本会迅速增加，因为这些用户每天可能与 LLM 进行多次交互。一些用例的成本更高，例如代码自动补全，因为每次输入新字符时都会运行。随着 LLM 应用的增加，即使生成时间略微提高效率，也会产生巨大的影响。LLM 推理（或“解码”）是一个迭代过程：一次生成一个词元。
FLASHDECODING++: FASTER LARGE LANGUAGE MODEL INFERENCE ON GPUS
c_cpp_csharp的专栏
01-10 633
随着大型语言模型（LLM）在各个领域变得越来越重要，LLM推理的性能对大规模LLM应用至关重要。然而，在加速LLM推理方面，以下挑战仍未解决：（1）同步部分softmax更新。softmax操作需要在每个部分softmax结果之间进行同步更新操作，导致LLM中注意力计算的开销为~20%。（2） 平面GEMM的计算利用不足。LLM推理中执行GEMM的矩阵形状是平坦的，导致计算利用不足，并且在以前的设计（例如，cuBLAS、CUTRASS等）中填充零后性能损失>50%。（3）静态数据流导致的性能损失。
FlashDecoding++
whaosoft143ai的博客
11-06 602
而对于矩阵乘计算，在 Decode 阶段，左乘矩阵多表现为「矮胖」矩阵，即其行数一般不大（如
Flash decoding技术探讨
chinansa的博客
09-28 483
总之，Flash decoding 和 Flash attention 都是为了提高自然语言处理中的计算效率而提出的技术，但它们在应用场景、处理方式和计算细节上存在一些差异。Flash attention 通常在注意力计算中采用不同的策略，如并行计算、优化内存访问等，以提高注意力机制的速度和效率。对于 softmax 计算，在每个块内进行局部的 softmax 操作，然后通过合适的方式将不同块的结果进行合并。例如，可以缓存上一个块的部分计算结果，当处理下一个块时，可以利用这些缓存结果来减少重复计算。
太强了！斯坦福继Flash Attention V1和V2又推出Flash Decoding
gzq0723的博客
03-16 1153
背景知识Hardware角度GPU Software 编程角度Hardware和Software的联系研梦非凡的导师来自海外QStop80、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，国内外知名人工智能实验室研究员。（以下仅展示部分导师）导师均来自科研一线，购买联系助教后，可根据学员需求匹配导师库导师～～
总结：大模型推理优化策略
安静的软件工程师
03-06 2238
总结：大模型推理优化策略
Flash-Decoding for Long-Context Inference: A Summary
步子哥的博客
06-16 731
This article from Stanford CRFM introduces Flash-Decoding, a technique that significantly speeds up attention during LLM inference, especially for long sequences.Motivation:Flash-Decoding Solution:Benefits:Comparison with Other Approaches:Micro-Benchmarks:
从DeepSeek看大模型软硬件优化.pdf
02-25
其中，FlashDecoding++策略展示了如何根据不同的数据量N调整切片数目，以及使用双缓冲技术来提高并行度和掩盖内存访问延迟。矩阵切片技术和计算并行度的优化提升了GPU利用率，通过增加计算任务的并行度来提高硬件...
大模型训练之加速篇 -attention优化【稀疏-＞线性化-＞分块计算MQA/GQA-＞计算(flash atten/dec)-＞缓存MLA】
热门推荐
weixin_36378508的博客
09-21 1万+
加速
从FlashAttention到FlashDecoding 原理详解
weixin_45817413的博客
06-18 1708
本文从Attention计算的具体过程开始，详细介绍了从safe-softmax到FlashAttention再到FlashDecoding的动机与原理，最后简述了FlashAttention和FlashDecoding在vLLM中的应用情况
GPU推理提速4倍！FlashDecoding++技术加速大模型推理
睡前人工智能共享实验室
11-08 509
他们已经将FlashDecoding++集成到其大模型计算引擎"Infini-ACC"中，实现了256K上下文的处理能力，这是目前全球最长的文本长度。推理大模型（LLM）是AI服务提供商面临的巨大经济挑战之一，因为运营这些模型的成本非常高。FlashDecoding++ 是一种新的技术，旨在解决这一问题，它通过提高LLM推理速度和降低成本，为使用大模型赚钱提供了新的可能性。FlashDecoding++的出现为使用大模型赚钱提供了更好的机会，因为它可以降低运营成本，提高效率，同时支持多种GPU后端。
FlashAttention
whaosoft143ai的博客
07-18 692
FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。Transformer上下文长度史诗级提升继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了2倍。甚至，相较于PyTorch的标准注意力，其运行速度最高可达9倍。whaosoft aiot http://143ai.com
FlashAttenion-V3
whaosoft143ai的博客
01-05 644
例如，2022年大多数LLM的上下文长度最多为2k（如GPT-3），但现在LLM上下文长度可以扩展到32k（Llama-2-32k），甚至最近达到了100k（CodeLlama）。作者也提供了LLaMa v2/CodeLLaMa的repo1(https//github.com/Dao-AILab/flash-attention/tree/main/examples/inference)和xFormers repo2(https//github.com/facebookresearch/xformers)。
[论文分享]LLM推理加速——FLASHDECODING++
11-24 732
当计算新的部分softmax结果时，采用同步softmax操作更新先前的部分softmax结果。为解决这些问题，研究团队提出了一种名为FlashDecoding++的更快的GPU实现方法，通过解决不同输入的最大值问题、优化flat GEMM操作和根据输入动态性和硬件配置进行启发式数据流优化，实现了对主流LMs的加速。未充分利用flat GEMM计算：在LLM推理中，矩阵执行GEMM操作的形状是扁平的，这导致未充分利用计算和超过50%的性能损失（在之前的设计中，如cuBLAS、CUTLASS等）。
超越Transformer，生成速度提高8倍！
深度学习技术前沿
03-13 103
斯坦福大学此前提出的FlashAttention算法，能够在BERT-large训练中节省15%，将GPT训练速度提高2/3。此后又提出FlashAttention V2，拥有了更好的并行性和工作分区，让计算提速200%，上下文长度扩展更任性！Flash-Decoding不仅借鉴了FlashAttention的优点，同时可以显著加快推理过程中的注意力，使非常长的序列的生成速度提高8倍。也可以极大提...
cmd脚本-bat批处理-AdobeRemovePanel.zip
05-22
cmd脚本-bat批处理-AdobeRemovePanel.zip
HTML、CSS与JavaScript构建学生信息管理系统
最新发布
05-22
好的，以下是重新表述后的内容： 本次学生信息管理系统的效果页面代码较为复杂，主要涉及HTML、JS和CSS。在实现过程中，遇到了以下难点： 页面中有一个复选框，通过它的checked属性可以判断是否被选中。当点击该复选框时，需要将当前页面的这一列所有复选框的checked属性设置为相同的值，从而实现全选功能。 要实现仅选择当前页的功能，首先需要获取当前页面的页码，记为page。由于每一页设定只显示10条内容，因此可以通过以下规则计算当前页的起始条目索引：当前页的开始条数为(page - 1) * 10。 如果还有其他问题，可以评论或者通过邮箱（1079349989@qq.com）联系我。完整的代码可以在我的GitHub中找到，GitHub链接在本页面。
vllm压缩张量的最小容量
04-01
### VLLM 中压缩张量的最小容量要求 在大规模语言模型（LLMs）中，VLLM 使用多种技术来优化推理性能和资源利用率。其中涉及的关键概念包括 KV 缓存剪枝、FlashDecoding 和 AllReduce 操作。 #### 1. **KV 缓存剪枝的影响** 现有的 KV 缓存剪枝方法通常采用静态内存分配策略，即为 LLMs 的每个 Transformer 层分配固定的内存空间[^1]。然而，这种方法未能充分利用动态稀疏性模式的优势——LLMs 在不同注意力头和请求间表现出显著的变化。因此，在实际应用中，可以通过分析注意力分布来减少所需存储的关键令牌数。研究表明，仅需保留一小部分关键令牌即可维持大部分信息完整性，从而降低对张量存储的需求。 #### 2. **FlashDecoding 对张量大小的要求** FlashDecoding 技术进一步减少了中间状态保存带来的开销。它通过对长序列中的键值对 (KV) 进行分块处理，并利用高效的 FlashAttention 计算方式完成各子任务后再汇总结果[^2]。此过程中，由于每次只加载当前 chunk 所对应的 KV 数据到显存中参与运算，整体上可以有效控制瞬时占用的最大张量尺寸。 #### 3. **AllReduce 及其关联效应** 虽然 AllReduce 主要应用于分布式训练场景下的梯度同步问题[^3]，但在某些情况下也可能间接影响推断阶段关于参数更新或者激活值共享方面的设计考量。不过就单纯讨论 vllm 下压缩后的张量最小需求而言，这一环节并非核心决定因素。 综合上述几点可以看出，vllm 实现高效运行所依赖的压缩后张量最小容量取决于以下几个方面： - 动态调整机制能够识别并剔除冗余信息的程度； - flashdecoding 方法分割数据块粒度的选择以及相应硬件环境支持情况； 最终得出结论是在理想条件下如果能精确捕捉到哪些 token 对应重要程度较高的 attention score，则理论上只需要储存那些足以代表原始输入绝大部分语义特征的部分即可满足正常工作需要而无需额外预留过多备用空间。 ```python def estimate_min_tensor_size(total_attention_scores, target_percentage=0.95): """ Estimate the minimum tensor size required to preserve a certain percentage of total attention scores. Args: total_attention_scores (list): List of all attention scores. target_percentage (float): Target fraction of information to retain. Returns: int: Minimum number of tokens needed. """ sorted_scores = sorted(total_attention_scores, reverse=True) cumulative_sum = sum(sorted_scores[:int(len(sorted_scores)*target_percentage)]) threshold_index = next(i for i,v in enumerate(cumulative_sum) if v >= cumulative_sum*target_percentage) return threshold_index ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值