CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs

文章主要内容总结

本文针对大型语言模型（LLMs）部署中存在的推理成本高、内存占用大等问题，提出了一种名为卷积码量化（Convolutional Code Quantization, CCQ）的极端低位量化方法。该方法旨在将LLMs压缩至2.0–2.75位，同时最大限度减少精度损失，解决了现有标量量化精度不足和向量量化推理效率低的瓶颈。

• 研究背景：LLMs规模持续扩大（如DeepSeek-V3达671B参数、ERNIE 4.5达300B/424B参数），导致推理延迟高、跨设备通信开销大。现有量化方法中，8/4位量化虽能缓解问题，但3位以下量化面临精度、可扩展性和效率的严重下降。标量量化在2位时因数值空间受限精度骤降，向量量化因码本查找导致内存访问不规则，推理效率低。
• 核心方法：CCQ整合了卷积码理论、混合编码（Hybrid Encoding）和码簇（Code Cluster）算法，构建无查找表的编码空间，实现码本与权重向量的线性映射，并用位移解码替代耗时的索引操作，优化推理性能。具体包括：
  • 基于卷积码构建码本，利用位移解码实现高效推理；
  • 混合编码灵活组合不同卷积码配置，满足存储需求并提高压缩率；
  • 码簇通过均匀量化进一步压缩编码空间，实现2位量化；
  • 优化尺度因子（scale）的计算和存储，减少额外