大模型推理加速综述

这篇主要是大模型推理加速方向的分享

我会在每个目录下分享自己的学习过程以及实现。

欢迎持续关注

显存优化

KVcache：

通俗易懂的KVcache图解-优快云博客

KVcache进阶-优快云博客

PageAttention：

Page Attention图解-优快云博客

Flash Attention：

通透理解FlashAttention(含其2代和第3代)：全面降低显存读写、加快计算速度-优快云博客

分布式优化

计算优化

算法优化

量化

参考：

https://zhuanlan.zhihu.com/p/655557420

https://zhuanlan.zhihu.com/p/642412124 （）