LLM模型量化

已于 2025-03-13 17:19:15 修改
阅读量179 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM——AIGC 文章标签： linux 运维 服务器
于 2024-11-06 15:20:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaomu_347/article/details/143570105

       对于pytroch模型量化前面已经有所介绍，今天基于LLM中基石transformers模型如何在设别端进行量化部署进行如下总结学习。

（1）GPTQ

     2022年，Frantar等人发表了论文 [GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers]。这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transformer模型，同时只有微小的性能下降。GPTQ算法需要通过对量化模型进行推理来校准模型的量化权重。详细的量化算法在原始论文中有描述。基于`auto-gptq`开源实现库，transformers 支持使用GPTQ算法量化的模型。

     

了解本专栏 订阅专栏 解锁全文 超级会员免费看
8.transformers量化
YPeng_Gao的博客
06-12 1114
BitsAndBytes（BNB）是自定义CUDA 函数的轻量级包装器，特别是8 比特优化器、矩阵乘法和量化函数。具有混合精度分解的8 比特矩阵乘法LLM.int8() 推理8 比特优化器：Adam、AdamW、RMSProp、LARS、LAMB、Lion（节省75% 内存）稳定的嵌入层：通过更好的初始化和标准化提高稳定性8 比特量化：分位数、线性和动态量化快速的分位数估计：比其他算法快100 倍在 Transformers 量化方案中，BNB 是将模型量化为8位和4位的最简单选择。
8.2 Transformers大模型量化实战：3种方案让显存占用直降75%（HuggingFace官方推荐）
yonggeit的博客
03-06 204
当大模型参数量突破百亿级别时，显存占用成为训练推理的致命瓶颈。以 LLaMA-65B 模型为例，其 FP32 格式权重需要 260GB 显存，远超单张 A100（80GB）的承载能力。本节将深度解析 Transformers 库原生支持的三大量化技术，助你突破显存限制。
使用 Transformers 量化 Meta AI LLaMA2 中文版大模型
折腾技术
07-22 1872
本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右显存就能够运行。
实战Transformers模型量化
Whitney66的博客
07-23 2387
本文主要讲述了模型量化技术在大模型微调中的重要性，包括如何使用transformers库进行模型量化，以及AWQ量化方法，从而强调了模型量化可以降低推理成本，减少计算资源和时间，优化大模型的微调过程。AWQ是一种从大模型中找到重要值的量化方法，可以避免使用数据集进行反向传播和矩阵分解。该方法在两个模型上进行测试，并与BNB的量化方法和原始的十六位浮点数方法进行比较，也鼓励实际操作使用AWQ来量化模型，并比较量化前后的指标差异。
Transformers量化模型加速推理 —— 以CodeLlama-34b-Instruct-hf为例
行步至春深
10-24 1553
推理速度接近量化前的两倍。占用最高显存约为量化前的四分之一。
大语言模型(LLM)量化基础知识(一)
weixin_42608414的博客
11-04 1642
随着大型语言模型 (LLM) 的参数数量的增长,与其支持硬件（加速器内存）增长速度之间的差距越来越大，如下图所示：加速器(一般指GPU)是专门的硬件，用于加速机器学习训练。它们的内存容量对于训练大型模型至关重要。上图显示了模型大小和加速器内存之间不断增长的差距。“差距”表示模型大小的增长速度远远超过了硬件内存容量的增长速度。这种差距对 LLM 的训练和部署提出了重大挑战。2022 年，模型规模达到了顶峰，但到了 2023 年，人们发现中等规模的模型（~70B 参数）在实际应用中更加实用和高效。
LLMs开源模型们的分布式训练和量化
nakaizura
05-25 2657
这篇博文主要整理一下目前流行的训练方法和量化。使通用LLMs适应下游任务的最常见方法是微调所有模型参数或微调尾层参数（Freeze）。然而这会导致每个任务都有一份单独的微调模型参数，训练成本高。- Adapter。冻结原有参数，添加adapter层用于微调。adapter层一般先向下投影，然后非线性激活函数，再使用向上投影，最后接残差连接。
大模型LLM 在线量化；GPTQ\AWQ量化及推理
weixin_42357472的博客
11-19 2316
参考:https://github.com/casper-hansen/AutoAWQ/blob/87350fefb9081dadec111cea9b315d009d877a87/examples/quant_custom_data.py。参考：https://vllm.readthedocs.io/en/latest/quantization/auto_awq.html。参考：https://github.com/vllm-project/vllm/issues/1538。应该是vllm暂时还不支持。
量化技术助力LLM（Large Language Model）轻量级部署
llm_way的博客
12-07 1328
随着LLM规模的不断扩大和训练数据的急剧增加，大型语言模型（LLMs）如GPT系列、LLaMA等已成为自然语言处理领域的佼佼者。然而，这些模型巨大的参数数量和计算需求使得它们在资源受限的环境（如移动设备、嵌入式系统等）中部署变得极具挑战性。为了克服这一难题，LLM量化技术应运而生。今天我们一起了解一下模型量化。
Fast and Effective！一文速览轻量化Transformer各领域研究进展
zenRRan的博客
10-25 2138
每天给你送来NLP技术干货！© 作者｜刘子康机构｜中国人民大学高瓴人工智能学院研究方向 | 多模态学习来自 |RUC AI Box本文梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。引言：近年来，Transformer模型在人工智能的各个领域得到了广泛应用，成为了包括计算机视觉，自然语言处理以及多模态领域内的主流方法。尽管Transfo...
量化交易策略回测：基于PyTorchLSTM的多因子择时模型开发与调优.pdf
02-21
该文档【量化交易策略回测：基于PyTorchLSTM的多因子择时模型开发与调优】共计 46 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。还在为深度学习框架的选择而烦恼吗？不妨来了解下 PyTorch。它凭借简洁直观的设计，在深度学习领域迅速崛起。PyTorch 有着动态计算图的独特优势，让你能更灵活地构建和调试模型。无论是新手入门深度学习，还是经验丰富的开发者进行复杂研究，它都能轻松应对。使用 PyTorch让你的科研和项目更上一层楼。
基于 CNN-Transformer 的深度学习模型探究.pdf
03-24
基于 CNN-Transformer 的深度学习模型探究.pdf
一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)
AI全栈 和 IT 编程相关分享
04-19 3453
Transformer，由Vaswani等人引入，以其强大的数据建模能力、可伸缩性以及出色的捕捉长距离依赖性的能力，彻底改变了机器学习。起源于自然语言处理（NLP）领域，取得了机器翻译和文本摘要等方面的成功，Transformer现在将其实用性扩展到计算机视觉任务，如图像分类和目标检测。最近，它们的能力已经在多模态情感分析领域得到了利用，其中它们整合和解释多样的数据流——文字、视觉和声音——以评估情感反应。
【保姆级教程】Transformers工具链速成：从模型微调到量化部署，一篇搞定！
weixin_66005172的博客
02-14 1011
根据任务选预训练模型（
Transformers 中原生支持的量化方案概述
小然的百宝盒
01-03 444
通过本文，我们比较了多种设置下的 bitsandbytes 和 GPTQ 量化。我们发现，bitsandbytes 更适合微调，而 GPTQ 更适合生成。(1) 使用 bitsandbytes 量化基础模型 (零样本量化)(2) 添加并微调适配器(3) 将训练后的适配器合并到基础模型或反量化模型之中！(4) 使用 GPTQ 量化合并后的模型并将其用于部署我们希望这个概述让每个人都能更轻松地将 LLM 应用至各自的应用场景中，我们期待看到大家用它构建自己的有趣应用！
GPTQ: ACCURATE POST-TRAINING QUANTIZATION FOR GENERATIVE PRE-TRAINED TRANSFORMERS阅读
m0_56243424的博客
11-13 1356
生成预训练变换器模型（简称GPT或OPT）因其在复杂语言建模任务中的突破性表现而与众不同，但也因其极高的计算和存储成本而受到关注。具体来说，由于其庞大的规模，即使是高精度的GPT模型在推理时可能也需要多块高性能的GPU，这限制了这些模型的可用性。尽管通过模型压缩来缓解这种压力的工作正在兴起，但现有压缩技术的适用性和性能受限于GPT模型的规模和复杂性。在本文中，我们针对这一挑战提出了GPTQ，这是一种基于近似二阶信息的新型一次性权重量化方法，既高效又高精度。
大模型量化技术-GPTQ
大模型与Agent智能体
04-02 1205
（灵活可扩展，前提是准备好数据，通过字符串列表来自定义一个数据集，建议样本数不少于128（样本数太少会影响模型性能）bits=4,相比使用默认数据集，未经精心准备的自定义数据集会明显降低模型性能、auto-gptq。
推荐文章：探索高效语言模型压缩新纪元 - GPTQ
gitblog_00988的博客
08-24 731
推荐文章：探索高效语言模型压缩新纪元 - GPTQ 在追求高性能与资源效率的道路上，【GPTQ：准确的预训练变换器后训练压缩】项目脱颖而出。这款由Elias Frantar等学者提出的技术，在2023年的ICLR会议上引起了广泛关注。今天，让我们一同深入了解这一颠覆性的开源项目，它为大型语言模型的轻量化应用铺平了道路。 项目介绍 GPTQ（Generative Pre-trained Transf...
transformer实现模型量化
cancer_s的博客
10-09 2072
量化（Quantization）技术专注于用较少的信息表示数据，同时尽量不损失太多准确性。具体来说，量化会将模型参数使用的数据类型，转换为更少位数表示，并尽可能达到相同信息的效果。同时，较低的精度还可以，因为使用较少位进行计算所需要的时间更短。eg:模型权重原始以32位浮点数存储（Float32）
LLM量化
最新发布
04-02
<think>好的，我现在需要回答用户关于大型语言模型（LLM）量化技术和方法的问题。首先，我要理解量化在LLM中的作用。量化主要是为了减少模型的内存占用和计算开销，这对在资源受限的设备上部署模型尤为重要。 接下来，我需要回忆常见的量化方法。记得有后训练量化（PTQ）和量化感知训练（QAT）两种主要类型。PTQ是在训练后对模型权重进行量化，而QAT则在训练过程中模拟量化效果，可能提高精度。需要详细说明这两种方法的区别和各自的优缺点。 然后，混合精度量化也是一个重要点。不同层对量化的敏感度不同，混合精度可以在敏感层使用更高精度，其他层使用低精度，平衡效率和精度。动态量化可能在推理时调整精度，这也需要解释清楚。 还有，权重量化与激活量化的区别。权重和激活值可能需要不同的处理方式，例如激活值在推理时动态生成，量化方法可能需要更细致的设计。 此外，具体的量化算法如GPTQ、LLM.int8()、SmoothQuant等，用户可能想了解这些方法的特点和应用场景。需要简要介绍每个算法的核心思想，例如GPTQ是针对transformer模型的优化方法，LLM.int8()处理大模型中的异常值问题，SmoothQuant则通过数学变换平衡权重和激活的量化难度。 量化带来的挑战也不能忽视。精度损失、异常值处理、硬件兼容性都是关键问题。例如，异常值可能导致量化误差增大，需要特别处理。硬件方面，不同硬件对低精度计算的支持不同，影响实际部署效果。 用户可能需要知道最新的研究进展，引用提供的参考资料中的相关内容。比如引用[1]提到的Efficient-LLMs-Survey，可以提到该综述中涵盖的高效LLM技术，包括量化方法。引用[3]提到的CacheGen技术，可以说明量化与其他上下文压缩技术的互补性。 最后，生成相关问题时要覆盖量化方法、挑战、应用场景以及与其他技术的结合，确保问题具有针对性和扩展性，帮助用户深入理解主题。 需要确保回答结构清晰，符合用户要求的格式，正确使用LaTeX，并在适当位置添加引用标识。检查是否有遗漏的重要点，比如量化后的模型评估指标，或者实际应用中的案例，但根据现有信息可能无法详细展开。保持语言简洁，技术细节准确，避免错误。</think>### 大型语言模型（LLM）量化技术详解 量化是通过降低模型参数的数值精度（例如从32位浮点数到8位整数）来压缩模型规模并加速推理的技术。以下是关键方法和技术细节： #### 1. **后训练量化（Post-Training Quantization, PTQ）** - **原理**：在模型训练完成后直接对权重和激活值进行量化，无需重新训练。 - **步骤**： 1. 校准：通过少量数据统计激活值的动态范围，确定量化参数（如缩放因子和零点）。 2. 量化：将浮点权重转换为低精度整数，例如$W_{int8} = \text{round}(W_{float32}/s) + z$，其中$s$为缩放因子，$z$为零点[^1]。 - **优点**：实现简单，计算成本低。 - **缺点**：精度损失可能较大，尤其是对异常值敏感的模型。 #### 2. **量化感知训练（Quantization-Aware Training, QAT）** - **原理**：在训练过程中模拟量化过程，使模型适应低精度表示。 - **实现**： - 在前向传播中插入伪量化操作，模拟量化噪声。 - 反向传播时使用直通估计器（Straight-Through Estimator）绕过量化操作的不可导性[^2]。 - **优点**：相比PTQ，精度损失更小。 - **缺点**：需要重新训练，计算成本高。 #### 3. **混合精度量化** - **动态混合精度**：根据输入数据动态调整不同层的量化精度（例如对注意力机制使用8位，其他层使用4位）[^3]。 - **静态混合精度**：通过敏感度分析，预先为不同层分配不同精度。 #### 4. **权重量化与激活量化** - **权重量化**：仅压缩模型权重，适用于存储受限场景。 - **激活量化**：同时量化推理时的中间激活值，可减少计算带宽需求，但对硬件支持要求更高。 #### 5. **代表性算法** - **GPTQ**：基于二阶泰勒展开的权重量化方法，专为Transformer模型优化，支持单次推理实现高压缩比。 - **LLM.int8()**：通过分离异常值（使用16位表示）和主要特征（8位量化），在低精度下保持模型性能[^2]。 - **SmoothQuant**：通过数学变换将激活值的量化难度转移至权重，平衡两者的量化误差。 #### 6. **挑战与解决方案** - **异常值处理**：LLM的激活值中常存在大幅值异常值。解决方法包括： - 分层缩放（Layer-wise Scaling） - 异常值隔离（如LLM.int8()） - **硬件兼容性**：需结合特定硬件（如支持INT4/INT8的GPU）设计量化策略。 - **精度-效率权衡**：通过敏感度分析选择量化层，或引入稀疏化与量化结合的技术。 $$ \text{量化误差} = \frac{1}{N} \sum_{i=1}^{N} |W_i - \hat{W}_i| $$ 其中$W_i$为原始权重，$\hat{W}_i$为量化后权重。 #### 7. **与其他技术的结合** - **模型蒸馏**：先通过蒸馏压缩模型规模，再应用量化。 - **上下文压缩**：如CacheGen可与量化协同减少带宽占用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaomu_347

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值