mikhailbran的博客

目前transformer 相关应用非常广泛，因此分享一篇关于flash attention的文章。这里为什么先分享flash attention？首先，之前的 attention优化都是基于计算和稀疏性，这篇文章直接从硬件构架角度思考，减少硬件的开销。其次，本文的效果好，直接从N2N^2N2的复杂度降为N，在不改变attention 结构的情下加速显然，甚至因为能增加输入的长度，使得效果有提升，所以在这里做一篇分享，欢迎交流。