GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

本文是LLM系列文章，针对《GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints》的翻译。

摘要

只使用单个键值头的多查询注意力（MQA）大大加快了解码器推断的速度。然而，MQA可能会导致质量下降，而且可能不希望仅仅为了更快的推理而训练单独的模型。我们（1）提出了一种使用5%的原始预训练计算将现有的多头语言模型检查点升级为具有MQA的模型的方法，以及（2）引入分组查询注意力（GQA），这是多查询注意力的一种推广，它使用中间数量（多于一个，少于查询头的数量）的键值头。我们表明，上训练GQA以与MQA相当的速度实现了接近多头注意力的质量。

1 引言

2 方法

3 实验

4 相关工作

5 结论

语言模型对于推理来说是昂贵的，这主要是由于加载键和值所带来的内存带宽开销。多查询关注以降低模型容量和质量为代价来减少这种开销。我们建议用原始预训练计算的一小部分将多头注意力模型转换为多查询模型。此外，我们引入了