2025_NIPS_HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs

一、文章主要内容总结

本文提出了一种名为HBLLM的1比特后训练量化（PTQ）框架，旨在解决大型语言模型（LLMs）在边缘设备和低资源环境部署中面临的参数规模大、计算与存储成本高的问题。该框架核心是通过 Haar 小波变换增强二进制量化的表达能力，并结合结构感知分组策略，在实现极致压缩（平均权重存储仅1.08比特）的同时，最大限度保留模型性能。

核心目标

在1比特极低比特预算下，平衡模型压缩率与量化保真度，解决现有1比特PTQ方法在复杂架构（如LLaMA3-8B）中性能退化或崩溃的问题。

关键技术路径

1. Haar小波变换：将权重矩阵分解为高低频分量，提升二进制表达能力，且通过局部卷积实现，推理开销可忽略；
2. 结构感知分组策略：包括频域感知的行内多参数分组（捕捉结构模式）和基于ℓ₂范数的显著性列选择（优先保留关键列）；
3. 频带内均值共享：非显著分量在同一行和小波频带内共享均值，降低存储开销且不损失性能；
4. 高效实现：通过固定局部卷积替代高复杂度矩阵乘法，推理复杂度降至O(d)，适配硬件部署。

实验结果

在OPT、LLaMA系列（1/2/3）模型上的实验表明：

• 语言建模任务（C4、PTB、WikiText2）中，困惑度仅为原始FP16模型的1.2-2.