A Comprehensive Evaluation of Quantization Strategies for Large Language Models

本文是LLM系列文章，针对《A Comprehensive Evaluation of Quantization Strategies for Large Language Models》的翻译。

摘要

增加大型语言模型（LLM）中的参数数量通常会提高下游任务的性能，但会增加计算和内存成本，使部署在资源有限的环境中变得困难。由于LLM的兴起，量化技术已经变得流行起来，该技术以最小的性能损失来减少模型权重或激活所需的比特。然而，大多数量化研究使用预训练的LLM，量化对指令调整LLM的影响以及量化LLM的困惑与基准性能之间的关系还没有得到很好的理解。量化LLM的评估通常仅限于语言建模和一些分类任务，使其在其他基准上的性能不明确。为了解决这些差距，我们提出了一个由三个关键维度组成的结构化评估框架：（1）知识和能力，（2）一致性和（3）效率，并在十个不同的基准上进行了广泛的实验。我们的实验结果表明，具有4位量化的LLM可以保持与非量化LLM相当的性能，并且困惑可以作为大多数基准上量化LLM的代理度量。此外，具有较大参数尺度的量化LLM可以优于较小LLM。尽管通过量化节省了内存，但它也会减慢LLM的推理速度。因此，为了在量化LLM的背景下实现解码速度和存储器消耗的平衡优化，大量的工程工作和硬件支持是必不可少的。

1 引言

2 相关工作

3 评估协议

4 评估设置

5 实验结果和讨论

6 结论

我们对LLM的量化策略进行了全面评估，展示了各种基准中模型效率和性能退化之间的权衡。通过采用结构化评估框架，从知识和能力、一致性和效率方面评估模型，我们旨在为量化LLM的可