SmoothQuant+：可以用于大语言模型的 4-bit 量化算法

最新推荐文章于 2024-10-22 19:08:00 发布

Linux基金会AI&Data基金会

最新推荐文章于 2024-10-22 19:08:00 发布

阅读量2.2k

点赞数 20

CC 4.0 BY-SA版权

文章标签：算法语言模型人工智能机器学习深度学习

本文链接：https://blog.youkuaiyun.com/LF_AI/article/details/135164112

本文介绍了 SmoothQuant+，一种无损精度的 4-bit 权重量化方法，适用于大语言模型。该方法在 vLLM 框架下实现，通过通道平滑激活离群点并调整权重，改善了 4-bit 量化后的精度，尤其在 Code Llama-34B 模型上，相比于 FP16 和其他量化技术，表现出更高的性能和精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

‍‍‍

‍LLMs 在各种任务上展现出令人惊叹的能力，但是庞大的模型尺寸和对算力的巨大需求对模型的部署也提出了挑战。目前 4-bit 的 PTQ 权重量化在 LLMs 上已经取得了一些成绩，相对 FP16 内存占用减少近 75%，但是在精度上仍有较大的损失。我们在论文《SmoothQuant+：Smooth LLM Weight Quantization and Acceleration in 4-bit》中，提出了 SmoothQuant+，一种无需训练的、精度无损的、通用高效的 4-bit 权重 PTQ 量化方法。基于权重量化的误差被激活的离群点所放大这一事实，SmoothQuant+ 在量化之前按通道平滑激活的离群点(outliers)，同时为了数学上的等效性调整对应的权重，然后再对线性层的权重进行 group-wise 4-bit 量化。我们把 SmoothQuant+ 融入了 vLLM 框架，一个先进的专门为 LLMs 开发的高吞吐量推理引擎，并为其配置了高效的 W4A16 CUDA 计算核，使得 vLLM 能够无缝支持 SmoothQuant+ 4-bit 量化。我们证明了通过 SmoothQuant+，Code Llama-34B 模型能够在一个A100 40GB GPU 上完成量化、部署，在精度无损的同时，吞吐量是双卡 A100 40GB 部署的 FP16 模型的 1.9-4.0 倍，Latency Per Token 只有双卡 A100 40GB 部署的 FP16 模型的 68%。这是我们所知的最好的 4-bit 权重量化。