2025_NIPS_Q-Palette: Fractional-Bit Quantizers Toward Optimal Bit Allocation for Efficient LLM Deplo

文章核心总结

本文聚焦大语言模型（LLM）的权重量化技术，提出Q-Palette（一套支持分数位宽的量化器套件）和融合感知混合方案量化（fusion-aware MSQ）框架，解决LLM权重分布不规则、量化误差与推理效率难以平衡的问题，实现无需重训练的高效部署（尤其适用于边缘设备等内存受限场景）。

核心创新点

1. 理论层面：推导了高斯化权重下的最优位分配策略，证明接近高斯失真率边界的细粒度分数位量化器是实现近最优性能的关键。
2. 量化器设计：提出Q-Palette套件，包含三类量化器（非均匀标量量化NUQ、矢量量化VQ、网格编码量化TCQ），支持1.5-5.0比特的细粒度分数位宽，还创新了half-TCQ变体实现中间位宽（如2.75比特）。
3. 工程优化：提供Tensor Core和CUDA Core优化内核，支持更大批次尺寸（最高8），减少旋转开销（将Transformer块在线旋转次数从14降至4）。
4. 框架创新：提出融合感知MSQ框架，首次联合优化量化器选择与层融合决策（如Transformer中QKV投影层融合），进一步提升推理速度。
5. 性能优势：在LLaMA 2/3、Qwen等模型上验证，相比现有基线，在相同内存/延迟约束下实现更低困惑度，最高提速36%，压缩比提升1.13倍。

---