GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

本文是LLM系列文章，针对《GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints》的翻译。

摘要

只使用单个键值头的多查询注意力（MQA）大大加快了解码器推断的速度。然而，MQA可能会导致质量下降，而且可能不希望仅仅为了更快的推理而训练单独的模型。我们（1）提出了一种使用5%的原始预训练计算将现有的多头语言模型检查点升级为具有MQA的模型的方法，以及（2）引入分组查询注意力（GQA），这是多查询注意力的一种推广，它使用中间数量（多于一个，少于查询头的数量）的键值头。我们表明，上训练GQA以与MQA相当的速度实现了接近多头注意力的质量。

1 引言

2 方法

3 实验