A Comprehensive Evaluation of Quantization Strategies for Large Language Models

UnknownBody

于 2024-03-15 11:04:53 发布

阅读量277

点赞数 5

分类专栏： Survey Paper LLM quantization 文章标签：语言模型人工智能机器学习

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136733188

版权

Survey Paper 同时被 3 个专栏收录

262 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

LLM quantization

11 篇文章

订阅专栏

本文深入研究了大型语言模型（LLM）的量化技术，提出一个包含知识与能力、一致性和效率的评估框架，在多个基准上进行广泛实验。研究发现，4位量化能保持与非量化模型相当的性能，而3位及以下量化会导致性能下降。困惑指数被证明是量化LLM性能的有效指标。尽管量化节省内存，但可能减慢推理速度，实际部署需要平衡优化和硬件支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《A Comprehensive Evaluation of Quantization Strategies for Large Language Models》的翻译。

摘要

增加大型语言模型（LLM）中的参数数量通常会提高下游任务的性能，但会增加计算和内存成本，使部署在资源有限的环境中变得困难。由于LLM的兴起，量化技术已经变得流行起来，该技术以最小的性能损失来减少模型权重或激活所需的比特。然而，大多数量化研究使用预训练的LLM，量化对指令调整LLM的影响以及量化LLM的困惑与基准性能之间的关系还没有得到很好的理解。量化LLM的评估通常仅限于语言建模和一些分类任务，使其在其他基准上的性能不明确。为了解决这些差距，我们提出了一个由三个关键维度组成的结构化评估框架：（1）知识和能力，（2）一致性和（3）效率，并在十个不同的基准上进行了广泛的实验。我们的实验结果表明，具有4位量化的LLM可以保持与非量化LLM相当的性能，并且困惑可以作为大多数基准上量化LLM的代理度量。此外，具有较大参数尺度的量化LLM可以优于较小LLM。尽管通过量化节省了内存，但它也会减慢LLM的推理速度。因此，为了在量化LLM的背景下实现解码速度和存储器消耗的平衡优化，大量的工程工作和硬件支持是必不可少的。