Scaling Laws for QAT / W4A4 Quantization (arXiv:2505.14302)

最新推荐文章于 2026-11-11 13:00:00 发布

原创最新推荐文章于 2026-11-11 13:00:00 发布 · 5 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出首个统一的QAT缩放定律，建模W4A4量化误差与模型规模N、训练数据量D和量化粒度G的关系：δₚ(N,D,G)=k·D^γ_D·(log₂G)^γ_G/N^γ_N。基于268次实验，发现误差随N增大而减小，随D和G增大而上升；激活误差（尤其FC2层输入）是主要瓶颈，源于异常值；混合精度（FC2层8-bit）可均衡权重与激活误差。该定律将预测相对误差从8.5%降至4.7%，显著提升实用性。

### 文章主要内容总结
本文围绕大语言模型（LLMs）的量化感知训练（QAT）展开研究，重点探讨4-bit精度（W4A4）下的缩放规律。通过268次QAT实验，分析了模型规模（N）、训练数据量（D）和量化粒度（G）对量化误差的影响，并提出统一的缩放定律。核心发现包括：
- **量化误差的影响因素**：误差随模型规模增大而减小，随训练数据量和量化粒度粗化而增大。
- **误差分解**：权重和激活误差均遵循整体趋势，但敏感度不同。权重误差对训练数据更敏感，而激活误差（尤其是FC2层输入）是W4A4的主要瓶颈。
- **混合精度优化**：对FC2层输入采用8-bit量化可显著降低激活误差，使权重和激活误差接近，且在大数据量下权重误差逐渐主导。

### 文章创新点
1. **统一缩放定律**
提出首个同时考虑模型规模、训练数据量和量化粒度的QAT缩放定律，公式为：
\[
\delta_{p}(N, D, G)=\frac{k \cdot D^{\gamma_{D}} \cdot\left(\log _{2}(G)\right)^{\gamma_{G}}}{N^{\gamma_{N}}}
\]
该定律较现有方法更准确，例如将W4A4量化误差预测的相对误差从8.5%降至4.7%。

2. **误差分解与瓶颈分析**
- 分解权重（W4A16）和激活（W16A4）误差，发现激活误差（尤其FC2层）因异常值成为主要瓶颈。
- 通过混合精度量化（FC2层8-bit）验证，可使权重与激活误差均衡，提升W4A4性能。

3. **量化粒度与数据量的作用**
揭示量化粒度对激活误差的高敏感性（\(\gamma_G\)值：激活0.98 vs.

标签