一步一步理解大模型：模型量化技术1-简介

原创

已于 2023-07-23 06:47:31 修改 · 5.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

于 2023-07-21 21:07:41 首次发布

模型量化是一种技术，通过减少模型参数的精度来降低模型大小和提高运行速度。例如，使用8位或4位量化可能会导致一定精度损失，但能显著节省存储。FP16量化通常保持高精度，而INT4量化则可能损失更多，但现代策略已能有效控制这种损失。

模型量化（Quantization）是一种用来减少模型大小和提高模型运行速度的技术。

默认情况下，模型使用32位浮点数进行所有预测计算，这也使得模型变得非常大。我们可以通过进行一些舍入操作，基本上达到接近正确的答案，这样可以在不损失太多精度的情况下，使模型变得更小。

具体而言，假设我们的模型参数都是从0到1的之间的数，如果用一个比特来储存，你只能储存两个数0和1，如果增加一个比特，你就有4种方法来表示从0到1之间的范围：

比特	代表的值
00	0
01	0.33
10	0.66
11	1

值的间隔为0.33.

再增加一个比特，你就有8种方法来表示这个范围：

比特	代表的值
000	0
001	0.125
010	0.25
011	0.375
100	0.5

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chattyfish

关注关注

9
点赞
踩
13

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大模型量化方法总结

herosunly的博客

02-21

1万+

本文主要对大模型量化方法进行了总结，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 模型精度 3. 量化方法 3.1 方法一 3.2 方法二 3.3 方法三

ChatGPT等大模型的模型量化：平滑量化法

沉迷单车的追风少年

04-03

5387

十亿级的模型、百亿级的模型、千亿级的模型量化难度完全不一样，而像chatgpt为代表的大模型，模型参数已经超过千亿。大模型往往同时是计算密集型+访存密集型的，如果想要做模型压缩，非常困难！这篇博客给大家介绍一下为什么大模型量化困难？大模型压缩过程中会遇到哪些挑战？以及如果解决这些困难？SmoothQuant，这是一种train-free、保持精度、通用的训练后量化（PTQ）解决方案，用于实现LLM的8位加权、8位激活（W8A8）量化。

3 条评论您还未登录，请先登录后发表或查看评论

大模型量化

xycxycooo的博客

07-25

2054

量化是指将连续值或高精度数值映射到一组离散值或低精度数值的过程。在深度学习中，量化通常涉及将32位浮点数（FP32）转换为较低精度的表示形式，如16位浮点数（FP16）、8位整数（INT8）或4位整数（INT4）。大模型量化是一种重要的优化技术，通过将模型权重和激活值转换为低精度表示，可以显著减少内存占用和提高推理速度。量化方法包括训练后量化和量化感知训练，量化粒度包括逐层量化、逐通道量化和逐张量量化，量化算法包括线性量化和非线性量化。在实践中，需要选择合适的量化方法和参数，并在验证集上评估量化效果。

量化之后大模型的能力退化了多少

qq_28221231的博客

07-18

1214

本文的研究背景是大语言模型的部署和使用需要大量的计算资源。为了解决这个问题，常常采用量化方法来减少模型的内存占用和提高推理速度。然而，低位量化常常会导致性能退化。因此，本文旨在研究量化对大语言模型紧急能力的影响。过去的方法主要关注整体性能，而本文关注量化对紧急能力的影响。先前的方法没有很好地解决低位量化引起的性能退化问题。因此，本文提出了一种基于量化的性能补偿方法来改善低位模型的性能。本文的研究方法是通过实验来分析量化对大语言模型紧急能力的影响。

收藏！大模型量化技术详解：让万亿参数模型“瘦身“又提速

热门推荐

penriver的博客

03-02

2万+

在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生本文记录针对量化技术原理的学习

大模型量化技术

liushenggui123的博客

09-05

2081

量化相关技术

一步一步理解大模型：模型量化技术2-源代码

chattyfish的博客

07-22

637

在模型的训练阶段，我们通常会寻求优质的硬件条件和更高的计算精度，以便训练出性能更优秀的模型，从而获得更高的评估分数。在这个函数中，通过加上一个特定的浮点数（12582912.f，这是2的23次方），可以将浮点数的小数部分移到尾数的位置。在模型量化技术（1）中，我们提到一个重要的步骤是找到权重附近的“落脚点”，在实际运算过程中，我们是找到浮点数附近的整数，就是做四舍五入运算来间接处理。这段代码实现了一个产品化的，高性能的，精准的将浮点数四舍五入到最接近的整数的函数。的值会增加1，实现了四舍五入的效果。

一步一步理解大模型：模型量化技术3 - GPTQ

chattyfish的博客

07-23

6618

之前的后训练方法只能在8位时保持准确，而之前的基于训练的技术只处理了比这小一个到两个数量级的模型。GPTQ可以在大约四个GPU小时内量化具有1750亿参数的GPT模型，将位宽减少到每个权重的3或4位，与未压缩的基线相比，准确性降低可以忽略不计。该方法的压缩增益是以前提出的一次性量化方法的两倍多，保持了准确性，使我们首次能够在单个GPU内执行1750亿参数的模型进行生成推断。GPTQ遵循最先进的后训练量化方法的结构，通过逐层进行量化，为每一层解决相应的重建问题。这一步是为了将量化后的值恢复到原始的值范围。

让大模型轻装上阵：LoftQ 量化框架助力高效推理

步子哥的博客

06-15

776

LoftQ 框架为大型语言模型的推理提供了新的解决方案。它通过将量化和低秩近似相结合，有效地压缩了模型参数，并显著提高了模型在各种下游任务上的泛化能力。LoftQ 的出现为大模型的部署和应用带来了新的希望，将推动大模型在更多场景中的应用。参考文献Q: 这篇论文试图解决什么问题？A: 这篇论文试图解决的问题是在大型语言模型（LLMs）中，当同时应用量化（Quantization）和低秩适应（LoRA fine-tuning）时，如何在下游任务中保持或提升模型性能。

[书生浦语] 大模型实战：LMDeploy 量化部署 LLM 实践

mycomin的博客

05-31

1373

一只老虎躺在草地上。照片中没有可见的文字或其他物体，照片的风格是自然的野生动物拍摄，旨在捕捉环境中的动物。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

【大模型】大模型量化

Dong_ZH的博客

02-25

1893

最后，在知道了这么多量化方法后，对于如何选择量化，关于LLAMA-3 量化相关的论文中的相关结论。1. 8bit 量化是免费午餐，无损失。2. AWQ 4bit量化对8B模型来说有2%性能损失，对70B模型只有0.05%性能损失。可以说也是免费午餐了。3. 参数越大的模型，低bit量化损失越低。AWQ 3bit 70B 也只有2.7%性能损失，完全可接受。4. 综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；

10分钟理解大模型的量化

深数研究院

09-06

6311

量化是大模型领域中的一项关键技术，它通过降低模型参数的精度，将浮点数转换为整数或定点数，从而实现模型的压缩和优化。

大模型量化概述

吃果冻不吐果冻皮

02-19

3647

可以根据实际业务需求将原模型量化成不同比特数的模型，一般深度神经网络的模型用单精度浮点数表示，如果能用有符号整数来近似原模型的参数，那么被量化的权重参数存储大小就可以降到原先的四分之一，用来量化的比特数越少，量化后的模型压缩率越高。）发现对于LLM的性能，权重并不是同等重要的，通过保留1%的显著权重可以大大减少量化误差。因此，引入了一种新的策略，涉及通道级的平移和缩放操作，以纠正异常的不对称呈现，并减轻问题通道的影响，并定量分析了平移和缩放的最佳值，同时考虑了异常的不对称性以及下一层权重引起的量化误差。

大模型LLM量化 , 5个基础技术知识

2301_76161259的博客

06-11

1935

写这篇文章原因下载 qwen 110B 模型发现不同量化占的内存差异很大,就想搞明白到底量化会着重影响哪方面的推理能力Qwen1.5-110B-Chat的显存全精度部署(32 精度)占用220GB;8bit量化部署Qwen1.5-110B需要113GB显存;4bit量化部署Qwen1.5-110B，需要62GB显存大型语言模型（LLMs）的量化是减小其大小和内存使用的关键策略，同时努力保持其质量。这种压缩技术对于在计算能力有限的设备上部署高级模型至关重要2 种量化方式。

大模型量化常用方法

qq_19886175的博客

09-18

2642

大模型权重值模型的部署的文件，叫权重。例如LAMMA 70B，权重的参数就有70B个。中间激活值a，就是在推理过程中的中间值。KVcache ，transformer中有K,Q,V三个矩阵。Q是每个token进来，K,V是需要重复计算的，例如我们已经输出了一个token，在输出第二个token的时候还需要计算第一个token的K V计算，说白了就是用内存换取速度的决定。，gradient是梯度，可能也会被量化。但是不一定。

大模型量化技术原理-SmoothQuant

吃果冻不吐果冻皮

02-29

3903

本文简要介绍了诞生的SmoothQuant背景和技术原理，作者提到激活值比权重更难量化，因为权重数据分布一般比较均匀，而激活异常值多且大让激活值量化变得更艰难，但是异常值只存在少数通道（Channel）内（单一 token 方差很大（异常值会存在于每一个 token 中），单一 channel 方差会小很多）。因此，SmoothQuant 诞生。SmoothQuant 通过平滑激活层和权重后，再使用per-tensor或per-token量化，实现W8A8。