ping1404511704的博客

原创 面试Python手撕MQA、GQA

（1）MQA（Multi Query Attention）：只有一组 Key-Value 对，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，大大减少 Key 和 Value 矩阵的参数量。GQA-G是指具有G组的grouped-query attention。GQA-1具有单个组，因此具有单个Key 和 Value，等效于MQA。（2）GQA（Grouped Query Attention）： Query 分为 G 组，每个组共享一个 Key 和 Value。