8.4 MIT微软联手突破：4-bit量化大模型显存暴降75%！AWQ算法实测误差＜1.2%

MIT微软联手突破：4-bit量化大模型显存暴降75%！AWQ算法实测误差＜1.2%

在探索大模型量化技术的道路上，研究者们发现传统静态量化方法存在一个致命缺陷：对激活值分布敏感性的忽视。这种认知突破催生了激活感知权重量化（Activation-aware Weight Quantization，AWQ）算法——这项由MIT、微软等机构联合提出的创新技术，正在重塑大模型量化领域的游戏规则。

---

一、为什么需要激活感知量化？

当我们对LLaMA-7B模型进行4-bit量化时，发现一个反直觉现象：某些层的量化误差会指数级放大模型输出偏差。这种现象的根源在于权重参数的重要性并非均匀分布。

通过可视化分析（图8.3.1），我们可以清晰看到：