FLASHDECODING++: FASTER LARGE LANGUAGE MODEL INFERENCE ON GPUS

最新推荐文章于 2025-02-12 20:49:17 发布

UnknownBody

最新推荐文章于 2025-02-12 20:49:17 发布

阅读量658

点赞数 13

CC 4.0 BY-SA版权

文章标签：语言模型人工智能 python

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135499235

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

FlashDecoding++是一个针对GPU的快速大型语言模型推理引擎，解决了同步softmax更新、平面GEMM计算利用不足和静态数据流性能损失的问题。通过异步softmax、双缓冲GEMM优化和硬件资源自适应的数据流，它在NVIDIA和AMD GPU上相对于Hugging Face实现实现了4.86倍和3.93倍的加速，平均比现有最佳推理引擎快1.37倍。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《FLASHDECODING++: FASTER LARGE LANGUAGE MODEL
INFERENCE ON GPUS》的翻译。

摘要

随着大型语言模型（LLM）在各个领域变得越来越重要，LLM推理的性能对大规模LLM应用至关重要。然而，在加速LLM推理方面，以下挑战仍未解决：（1）同步部分softmax更新。softmax操作需要在每个部分softmax结果之间进行同步更新操作，导致LLM中注意力计算的开销为~20%。（2）平面GEMM的计算利用不足。LLM推理中执行GEMM的矩阵形状是平坦的，导致计算利用不足，并且在以前的设计（例如，cuBLAS、CUTRASS等）中填充零后性能损失>50%。（3）静态数据流导致的性能损失。LLM中的内核性能取决于不同的输入数据特征、硬件配置等。单个静态数据流可能导致LLM推理中不同形状的GEMM的性能损失50.25%。
我们介绍了FlashDecoding++，一个支持主流LLM和硬件后端的快速LLM推理引擎。为了应对上述挑战，FlashDecoding++创造性地提出：（1）具有统一最大值的异步softmax。FlashDecoding++为不同的部分softmax计算引入了统一的最大值技术，以避免同步。在此基础上，提出了细粒度流水线技术。（2）具有双缓冲的平坦GEMM优化。FlashDecoding++指出，不同形状的平面GEMM面临着不同的瓶颈。然后，介绍了双缓冲等技术。（3）具有硬件资源自适应的启发式数据流。FlashDecoding++在考虑输入动态的情况下，使用不同的硬件资源（例如Tensor Core或CUDA Core）启发式地优化数据流。由于FlashD

了解本专栏