Evaluating Quantized Large Language Models

本文是LLM系列文章，针对《Evaluating Quantized Large Language Models》的翻译。

摘要

训练后量化（PTQ）已成为一种很有前途的降低大型语言模型（LLM）成本的技术。具体来说，PTQ可以有效地减少LLM中的内存消耗和计算开销。为了满足不同场景下的高效率和性能要求，对量化LLM进行全面评估对于指导量化方法的选择至关重要。本文通过评估PTQ对11个模型家族（包括OPT、LLaMA2、Falcon、Bloomz、Mistral、ChatGLM、Vicuna、LongChat、StableLM、Gemma和Mamba）的重量、激活和KV缓存的影响，对这些因素进行了全面评估，参数范围从125M到180B。评估包括五种类型的任务：基本NLP、涌现能力、可信度、对话和长上下文任务。此外，我们还评估了先进的（SOTA）量化方法，以证明其适用性。在大量实验的基础上，我们系统地总结了量化的效果，提出了应用量化技术的建议，并指出了未来的发展方向。

1 引言

2 前言

3 基本NLP任务上的评估

4 涌现能力上的评估