lanlalala的博客

笔者冒泡：是一整篇论文，果然比论文的一部分（比如位置编码、MLA）更难写文中算法已集成到pytorch，很通用，了解其原理以便进行二次开发，是极好的笔者认为阅读论文，可以从图、表、伪代码等入手；笔者准备在这篇解读中，学习阅读伪代码的方法含义：Fast and Memory-Efficient Exact Attention with IO-Awareness。

提高推理速度常见的注意力机制初版：多头注意力（MHA），KV缓存限制推理效率改进版：多查询注意力（MQA）、分组查询注意力（GQA）：KV缓存少，损失信息导致性能差多头潜注意力（MLA）：KV缓存少，因压缩投影 性能好于MHA图1. 四种注意力机制的原理图表1. 四种注意力机制的性能。

2025年开始，准备学习大模型相关的东西，所以从基础知识transformer开始补起。文章思路如下：以论文顺序讲解参考我学习的视频的部分简写了，详情见参考文献（链接）在必要的部分穿插了源码讲解目的：transformer是2017年由Google提出的，用于序列转导任务的模型（例如文本生成，翻译），以解决之前的基于RNN模型做此任务的问题（输入输出层必须等长、遗忘、只能串行运行）借鉴的研究FFN（前馈神经网络 Feedforward Neural Network）优点：可学习参数多。

2。