https://www.zhihu.com/people/mu-zi-zhi-6-28

目前在大部分推理Decoding场景下，性能都优于Flash Attention和Flash Attention v2，此外Decoding Attention还支持GQA（Group Query Attention）/ MQA（Multi Query Attention）和ALiBi（Attention with Linear Biases）推理场景。代码开源在flash_attention_inference。​

在深度学习模型特别是LLM（Large Language Model）的推理优化中，HGEMV（Half-precision General Matrix Vector Multiplication）半精度矩阵向量乘法的优化日趋重要。然而Cublas没有提供直接计算HGEMV的API，只能使用cublasGemmEx等相关API来间接调用Tensor Core计算HGEMV。

GEMM（General Matrix Multiplication）矩阵乘法是深度学习中最常用且最耗时的算法之一，特别是在CNN、RNN、Transformer等领域中。在这些领域中，大量的矩阵乘法操作需要被快速计算和处理。因此，高效的矩阵乘法实现对于深度学习任务的性能和准确性至关重要。