- 博客(2)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（27）--- MQA & GQA
在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。
2025-05-01 08:12:59
129
转载 java遍历所有父类
代码示例相关视频讲解：数组-Go代码演示Java遍历所有父类 在Java中，类可以通过继承来获取父类的属性和方法。有时候我们需要遍历一个类的所有父类，这在某些情况下非常有用。本文将介绍如何在Java中遍历一个类的所有父类，并给出代码示例。 继承关系图 erDiagram Animal <|-- Mammal...
2024-07-02 04:55:52
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人