- 博客(2)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（27）--- MQA & GQA
在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。
2025-05-02 08:49:29
113
转载 cec2018 测试函数python
完成 CEC 2018 测试函数的 Python 实现 引言 CEC 2018 是一个广泛使用的优化算法评测基准，它提供了一系列测试函数用于评估全局优化算法的性能。对于刚入行的开发者来说，实现这些测试函数可以帮助你理解算法在不同情况下的表现。本文将详细阐述如何在 Python 中实现 CEC 2018 测试函数，包括每一步...
2024-08-09 04:38:35
306
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人