2025_NIPS_QuIP: 2-Bit Quantization of Large Language Models With Guarantees

文章核心总结与翻译

主要内容

本文聚焦大型语言模型（LLMs）的训练后参数量化，提出量化相干处理（QuIP）方法，通过自适应舍入和相干性预处理/后处理，实现仅用2位/权重的高效量化。核心思路是利用权重矩阵和海森矩阵的相干性——使权重幅度均匀、精确舍入的关键方向与坐标轴不对齐，从而在高压缩率下保持模型性能。实验验证QuIP在OPT（达66B参数）和Llama 2 70B等模型上表现优异，2位量化性能接近全精度，且模型越大性能差距越小。

创新点

1. 提出QuIP方法，通过随机正交矩阵乘积实现权重和海森矩阵的相干性处理，首次使LLM的2位量化具备实用性。
2. 给出首个适用于LLM规模量化算法的理论分析，证明QuIP在自适应舍入类方法中最优，且OPTQ是QuIP去除相干性处理后的特例。
3. 设计高效正交矩阵乘法（克罗内克积分解），降低相干性处理的计算开销，确保算法可扩展至超大规模模型。
4. 提出LDLQ自适应舍入方法，基于LDL分解优化二次代理目标，比OPTQ实现更高效（无需矩阵求逆，仅一次乔列斯基分解）。

---

翻译部分（Markdown格式）

Abstract

本文研究大型语言模型（LLMs）的训练后参数量化。我们提出量化相干处理（QuIP），这是一种基于以下洞察的新方法：量化效果得益于非相干的权重矩阵和海森矩阵，即权重幅度均匀，且需要精确舍入的方向与坐标轴不对齐。QuIP包含两个步