AWQ量化(Activation-aware Weight Quantization)

已于 2024-11-06 08:40:43 修改
阅读量1.1k 收藏 7
点赞数 10
分类专栏： LLM推理优化 文章标签： 计算框架
于 2024-09-08 18:14:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/142030399
版权

论文：

AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration

中文解读：

深入理解AWQ量化技术 - 知乎 (zhihu.com)

动机：端侧设备用LLM，为了减少显存占用量，所以要用INT4量化；

实现：只量化W矩阵，存储INT4；计算的时候再反量化为FP16（TensorRT-LLM反量化为FP8)，进行计算；

原理：1. 哪些w的量化误差，会导致最终误差较大？答：和这些w相乘的那些activation，绝对值大的；所以，选取activation矩阵中，绝对值较大的channels，和这些相乘的w行；2. 怎么缩小这些行的量化误差？答：量化误差，是由round取整带来的，只要把w先扩大一些，再进行

最低0.47元/天 解锁文章
大模型量化技术-AWQ
段智华的博客
04-02 1063
大模型量化技术-AWQ在2023年6月，Ji Lin等人发表了论文。这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见。
【人工智能之大模型】详述大模型中​AWQ（Activation-aware Weight Quantization）量化的关键步骤？
985小水博的摸鱼日常
04-26 1846
【人工智能之大模型】详述大模型中​AWQ（Activation-aware Weight Quantization）量化的关键步骤？
AWQ：Activation-aware Weight Quantization 用于LLM量化与加速-（1）背景与原理
2301_76739570的博客
04-28 2925
AWQ原理介绍，大模型量化，怎样在更小的模型下，保留最好的效果
深入浅出大模型量化（三）： AWQ，让低比特大模型重获新生
最新发布
qq_54445177的博客
05-01 854
深入浅出大模型量化（三）： AWQ，让低比特大模型重获新生
AWQ: ACTIVATION-AWARE W EIGHT QUANTIZATION FOR ON-DEVICE LLM COMPRESSION AND ACCELERATION阅读
m0_56243424的博客
11-13 1058
大型语言模型（LLM）已经改变了众多人工智能（AI）应用。在设备上运行的LLM变得越来越重要：在边缘设备上本地运行LLM可以降低云计算成本并保护用户隐私。然而，模型体积庞大和硬件资源有限给部署带来了重大挑战。我们提出了激活感知权重量化（AWQ），这是一种对硬件友好的LLM仅低比特权重量化方法。AWQ发现，在LLM中，并非所有权重都同等重要。只需保护1%的显著权重，就能大幅降低量化误差。为了识别显著权重通道，我们应参考激活分布，而非权重。
MIT开源AWQ：激活值感知的LLM低位权重量化
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-11 771
AWQ 是由 MIT 韩松教授团队推出的一种针对大型语言模型（LLMs）的高效且精确的低位权重量化（INT3/4）方法，通过仅保护1%的显著权重就可以大大减少量化误差，且支持指令调整模型和多模态语言模型。代码已经开源！为了识别显著的权重通道，应参考激活分布，而不是权重。为了避免硬件低效的混合精度量化，通过数学推导得出，放大显著通道可以减少量化误差。AWQ采用等效变换来放大显著权重通道以保护它们。该比例通过离线收集激活统计数据确定。
AWQ模型量化实践
热门推荐
LuchangLi 的专栏
06-28 1万+
AWQ模型量化实践
【量化部署】AWQ in MLSys 2024
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
09-07 1312
AWQ in MLSys 2024：该方法是一个仅量化权重的方法（W4A16），AWQ认为只有极少部分（1%）模型权重是十分重要的，在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重，通过放大这些权重来实现对他们的保护，放大因子是对应激活量级的alpha次方。
AWQ介绍，构思 - PTQ简史(二)
EnsDoflamingo的博客
04-29 1614
AWQ基于激活值保留量化模型, 绕开了校准数据等PTQ模型量化诸多问题。并且在速度和性能上AWQ也取得了更多的进步，比如量化模型的内核聚合，SIMD-CPU高效利用等。尽管AWQ取得了必要的成功，然而关于AWQ性能实验的充分性，仍然值得更深层次的探索。
深度解析：大模型量化技术原理——AWQ与AutoAWQ
2401_84495872的博客
08-31 3113
本文简要介绍了诞生的AWQ背景和技术原理，同时以AutoAWQ为例进行了简单的说明。
EfficientAI Lab： 大模型AWQ量化
qq_19859865的博客
12-04 2677
AWQ（Activation-aware Weight Quantization）的核心是基于通道级别的尺度缩放（channel-wise scaling），来保护显著权重。而值得注意的是，是通过观察“activation”，而不是权重，来选择缩放的大小。此外，该方法不需要进行反向传播和重构，部署容易。左图表达Round-to-nearest方法的策略和效果，PPL非常高（不好）；中间的图表示作者的key observation，那就是保留一部分权重；
大模型量化之AWQ原理和应用
TFATS的博客
02-08 2131
AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布(activation distribution)挑选显著权重(salient weight)进行量化的方法，其不依赖于任何反向传播或重建，因此可以很好地保持LLM在不同领域和模式上的泛化能力，而不会过拟合到校准集，属训练后量化(Post-Training Quantization, PTQ)大类。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 1万+
通过实际代码例子介绍如何进行模型量化
LLM量化--AWQ论文阅读笔记
two_apples的博客
07-15 3155
在本文中，提出了激活感知权重量化（AWQ），这是一种面向硬件的LLM低比特权重量化方法。猜想基于这样一种观察结果：权重不是等同重要的，仅保护1%的显著权重就能大大的减少量化误差。然后我们提出了通过观察激活来搜索最优的每个通道的缩放因子，以保护这些显著的权重。QAT因为高训练成本效率低，PTQ在低精度的时候精确度下降的多，最接近的工作是GPTQ，这种方法采用二阶信息来进行误差补偿，但是，它在重构的过程会过拟合校准集。
AWQ量化及AutoAWQ代码详解
小蜗牛的珍贵百宝箱
10-10 1437
量化是将模型中的浮点数参数转换为低位数表示（如INT8或INT4），以减少模型的存储需求和提高推理速度。量化的基本思路是通过减少数据的位宽来降低计算负担，但这可能会引入精度损失。AWQ旨在动态调整量化精度，以适应不同的模型和输入数据。AutoAWQ是一种自动化的AWQ实现，能够根据模型的结构和输入数据自动选择最优的量化方案。其核心思想是通过分析模型的权重分布和输入样本，确定每层的最佳量化位数。AWQ量化和AutoAWQ为深度学习模型的优化提供了有效的方法。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7645
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5298
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
GPTQ 和 AWQ：LLM 量化方法的比较
Archer阿茶
10-14 1万+
量化是将浮点数权重转换为低精度整数的过程，可以显著减少模型的大小和计算复杂度。GPTQ 和 AWQ 是目前最优的 LLM 量化方法之一
AWQ量化
03-31
### AWQ量化技术概述 AWQ（Activation-aware Weight Quantization）是一种针对大规模语言模型压缩和加速的技术。该技术通过引入激活感知权重量化的方式，在减少模型参数存储需求的同时保持较高的推理性能[^1]。 #### 核心原理 AWQ的核心在于其利用了激活函数的分布特性来优化权重的量化过程。具体来说，它通过对每一层网络中的权重应用不同的量化尺度因子（scale factor），从而更好地适应不同层次神经元的特点。这种方法不仅减少了计算复杂度，还显著降低了内存占用率。 #### 实现方法详解 以下是AWQ的主要实现步骤： 1. **初始化Scale与Clip Coefficient** 首先定义每层权重矩阵对应的scale以及clip coefficient初始值。这些超参决定了如何将浮点数映射到整数值上。 2. **Heuristic Search Algorithm** 使用启发式算法自动调整上述两个重要参数直到达到最优解为止。此过程中会考虑目标精度损失最小化原则作为评价标准之一。 3. **Post-training Quantization Process** 对已经预训练完成的大规模语言模型执行post-training quantization操作, 即不改变原有架构仅修改内部表示形式为低比特位宽版本. 4. **Fine-tuning Optional Step (可选)** 如果希望进一步提升经过AWQ处理后的模型表现，则可以加入少量微调环节以弥补可能存在的轻微质量下降情况. ```python import torch.nn as nn class ActivationAwareQuantizer(nn.Module): def __init__(self, bit_width=8): super(ActivationAwareQuantizer, self).__init__() self.bit_width = bit_width def forward(self, weight_tensor): max_val = torch.max(torch.abs(weight_tensor)) scale_factor = max_val / ((2**(self.bit_width - 1)) - 1) # Apply clipping to avoid overflow during integer conversion. clipped_weights = torch.clamp(weight_tensor/scale_factor, min=-((2**(self.bit_width - 1))),max=((2**(self.bit_width - 1))-1)) # Convert weights into integers by rounding them off appropriately. int_weights = torch.round(clipped_weights).type(torch.int8) return int_weights * scale_factor ``` 以上代码片段展示了简化版的activation-aware weight quantization逻辑。 #### 性能对比分析 相较于其他传统量化方案如uniform scaling method或者min-max based approach而言,AWQ能够更精准地捕捉住实际运行环境中输入数据的真实统计特征因此具备更强泛化能力; 同时由于采用了专门设计用于LLMs场景下的特殊策略使得最终得到的结果无论是在速度还是能耗方面都占据一定优势位置. 然而值得注意的是尽管目前存在一些改进方向比如Omniquant提出基于学习机制获取更加精确scales/coefficients组合方式但就现阶段实验结论显示两者间差距尚不足以完全取代前者地位[^2].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值