神经网络定点量化

原创 已于 2024-06-01 21:07:35 修改 · 2.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #并行计算

于 2022-02-13 21:04:50 首次发布
本文探讨了如何通过量化技术，如INT8量化，减少移动端计算、内存和功耗。介绍了PyTorch的动态与静态量化区别，以及Quantization-Aware Training背后原理。重点讲解了量化参数S和Z在模型权重和激活上的使用，以及Post-Training Quantization在不同场景下的实践和效果。

目的：

1. 加速计算（特别是移动端上）

2. 减少内存/显存占用（特别是移动端上）

3. 减少功耗（读取内存和计算都会耗电）

把某个tensor或者某个channel的这组float32, 用int8来表示，就是量化。

这组float32的上下界，可以取他们的min和max，也可以moving average，也可以去中间99%的那部分。。。越界的就用量化为0或者255。

公式：

(r实数-0) / (q整数-Z整数）= S = (r实数max-r实数min) / (q整数max-q整数min) = (r实数max-r实数min) / 255

S为缩放稀疏，Z为"Zero-Point"，其实Z就是真实浮点值0映射到整数时对应的值，无论是在图像中还是NLP中都会有用0做padding值来补全的，映射到整数后，也应该有这样一个值的存在，这个值就是Z。在这里S和Z可以称为量化参数，对于每个权重矩阵和每个激活数组都有一对这样的值。

Linear层和卷积的量化：

神经网络量化入门--基本原理 - 知乎 (zhihu.com)

累加用的是INT32:

Arithmetic in the quantized model is done using vectorized INT8 instructions.

最低0.47元/天 解锁文章
定点 浮点 神经网络 量化_定点量化
weixin_39914752的博客
12-22 2583
定点量化量化技术计算并存储了更加紧凑的数字格式。TensorFlow Lite 增加了使用 8 位的定点量化表示。由于现代神经网络的挑战之一是进行高精度的优化，首先要做的是改善训练期的精度和速度。使用浮点数运算是保持精度的简单方法之一，同时 GPU 也被设计为能为这些运算进行加速。然而，随着越来越多的机器学习模型需要被部署到移动设备上，推理的效率已经成为了一个关键性问题。对于训练期的计算需求，随着...
神经网络量化--从早期的量化算法谈起
AI小男孩的专栏
03-16 2139
回顾下神经网络量化的过往
神经网络量化（一）
weixin_38498942的博客
05-29 1658
随着深度学习作为一种通用工具在电子设备中注入智能的流行度不断上升，对小型、低延迟和高能效的神经网络解决方案的需求也在增加。如今，神经网络可以在许多电子设备和服务中找到，包括智能手机、智能眼镜、家用电器、无人机、机器人和自动驾驶汽车。这些设备通常对神经网络的执行时间有严格的限制，或对长时间性能有严格的功耗要求。减少神经网络的计算时间和能耗的最具影响力的方法之一是量化。在神经网络量化中，权重和激活张量以比通常训练时的16或32位精度更低的位精度存储。
TensorFlow 1.0.0rc1上玩量化神经网络 ——转自 慢慢学TensorFlow 微信公众号
dxmkkk的博客
02-07 4157
注 这里的量化不是指“量化交易（Quantitative trade）”，而是 Quantization ，即离散化，注意是否走错片场。 前言 开发神经网络时最大的挑战是让它真正起作用，训练时一般希望速度越快越好，准确率越高越好。使用浮点算法是保持结果精确最简单的方式，GPU 拥有加速浮点算法的库，所以很自然地，不需要过多关注其他数值格式。
神经网络量化
qq_39931336的博客
03-15 1340
神经网络量化通过将模型参数和激活值从高精度表示（例如32位浮点数）转换为低精度表示（例如8位整数或更低）来解决这个问题。量化可以分为两种类型：权重量化和激活量化。权重量化是将神经网络中的权重参数转换为低精度表示，而激活量化则是将神经网络的激活值（即中间层的输出）转换为低精度表示。：将参数和激活值量化到非对称范围内，例如[-128, 127]，可以更好地适应数据的分布情况。：将参数和激活值表示为浮点数，但采用较低的精度，如16位浮点数或更低。：将参数和激活值表示为固定位宽的整数，通常采用8位或更低的精度。
定点 浮点 神经网络 量化_神经网络模型量化论文小结
weixin_39682477的博客
12-22 1576
神经网络模型量化论文小结发布时间：2018-07-22 13:25,浏览次数：278现在“边缘计算”越来越重要，真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，专用硬件平台可以很好的解决计算与存储的双重需求，但目前还不成熟，存在些亟待解决的问题，没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积，加速运算，能够将算法应用在通...
神经网络的量化训练方法与过程解析
最新发布
08-15
1. 参数的量化：将神经网络中的权重和偏置参数从浮点数转换为定点数或整数表示。常见的做法是定义一个量化函数，如线性量化或对数量化，将连续的参数值映射到离散的量化级别上。 2. 激活值的量化：除了参数量化外，...
神经网络的量化
新缸中之脑
07-03 1142
量化是降低权重、偏差和激活精度的过程，从而消耗更少的内存。换句话说，量化的过程就将神经网络参数的32位浮点数表示，转换为更小的表示形式，例如8位整数。例如，从 32 位变为 8 位将使模型大小减少 4 倍，因此量化的一个明显好处是显着减少内存。图 2 显示了一个示例。量化的另一个好处是它可以降低网络延迟并提高能效。由于可以使用整数而不是浮点数据类型执行操作，因此网络速度得到了提高。这些整数运算在大多数处理器内核（包括微控制器）上需要较少的计算。
训练好后的神经网络如何快速定点化？
It is me 的博客
08-08 1971
训练好后的神经网络如何快速定点化？ 如何把浮点权重快速定点化后使用在嵌入式设备中 tensorflow模型的定点化 如何量化和量化意义？ 网络参数是按层组织，每层数值都在同一数量级，即范围相差不大，如[-6.0,4.0]，有大量论文研究表明确认值最大和最小后每层数据使用8bit定点化量化已可以很好满足推断计算。 量化最直接结果是参数存储空间要求变小，经验值是减少约3/4；减少内存读取数据量，节省带宽；使用simd进行计算加速，如果有dsp进行8bit加速计算节能，使得移动设备上进行推断计算变得更.
深度学习神经网络量化
热门推荐
扯着扯着就淡淡了
08-22 1万+
主要问题DNN（Deep Neural Networks）的冗余性决定了参数个数不会对网络的精度造成影响。此外，SGD（Stochastic Gradient Descent）所需要的精度仅为6~8bit，因此合理的量化网络也可保证精度的情况下减小模型的存储体积影响DNN压缩看参考Stanford大学Han Song博士的几篇论文，如下： Learning both Weights and Conn
redis操作(基础)
weixin_36552034的博客
04-15 260
String （字符串） Set key value Get key Del key Append key value 追加 Strlen key 长度 Incr key 加1 Incrby number 加number Decr key 减1 Decrby key n...
定点 浮点 神经网络 量化_神经网络量化方法
weixin_39723920的博客
12-22 2401
神经网络虽然在多个领域取得了非常巨大的成就，但是其本质是大量参数的拟合和泛化，如果想处理更加复杂的任务，在没有过拟合的情况下，增加训练数据和加大网络规模无疑是简单有效的手段。现实情况就是这么做的，但是巨大的参数量和复杂的网络结构造成了两个主要的问题：模型体积和运算速度。这两个问题会带来诸如内存容量，内存存取带宽，移动端还有电量消耗等一系列问题，大大限制了神经网络的应用场景。背景介绍为了解决这些问题...
神经网络量化--per-channel量化
AI小男孩的专栏
03-18 6474
神经网络量化入门系列第八篇：per-channel量化
【TensorRT】2、神经网络中的量化
呆呆的猫的博客
11-18 4788
本文主要介绍神经网络在部署时的量化
神经网络量化：模型部署和性能优化
AI天才研究院
12-25 1182
1.背景介绍 神经网络量化是一种将深度学习模型转换为可在特定硬件上运行的过程，以实现高性能和低延迟。在现实世界中，我们经常需要将模型部署到各种不同的硬件平台上，例如CPU、GPU、ASIC、FPGA和智能设备等。这些平台具有不同的计算能力和资源限制，因此需要对模型进行优化，以满足特定硬件的性能要求。 量化过程涉及将模型的参数从浮点数转换为整数，以便在硬件上进行加载和运行。这个过程通常包括以下几...
神经网络 量化
03-19
### 神经网络量化的概念 神经网络量化是指将神经网络中的浮点权重值转换为定点整数表示的过程[^3]。这一过程通过减少数值精度来降低存储需求和计算复杂度，从而提高模型的运行效率并节省硬件资源。 --- ### 常见的量化方法 #### 低比特宽度梯度法 一种典型的量化方法是采用低比特宽度梯度技术，这种方法能够显著减小模型大小而不明显影响性能[^1]。它主要针对权重参数进行优化处理，使得原本需要高精度表达的数据可以用更少的位宽表示。 #### 训练与推理阶段的不同策略 在实际应用中，通常会在训练过程中保持较高的FP32精度以确保收敛效果良好；而在推理环节则切换至较低精度如INT8模式下操作，这种组合方式已被多个主流框架采纳支持，例如TensorRT, TensorFlow以及PyTorch等均提供了相应工具链用于简化部署流程[^2]. --- ### 主流实现框架及其特点 以下是几个广泛使用的深度学习库对于神经网络量化的具体实施方案： - **TensorFlow Lite**: 提供了一套完整的API集合允许开发者轻松完成从原始float版本到integer-only variant之间的转变，并且兼容多种平台设备上的高效执行环境. - **ONNX Runtime Quantization Tools**: 来自微软开源项目之一，专注于跨不同DL frameworks间互操作性的增强工作的同时也包含了丰富的预定义方案可供选择调优使用场景下的表现指标[^4]. - **PyTorch Quantization Toolkit**: 集成了动态、静态两种类型的自动校准机制帮助用户快速评估候选配置选项进而挑选最佳实践路径实施大规模生产环境中所需的调整动作[^5]. 下面展示如何利用 PyTorch 完成简单的线性层量化例子: ```python import torch from torch.quantization import quantize_dynamic # 创建一个标准全连接层实例 linear_model = torch.nn.Linear(64, 64) # 应用动态量化函数变换目标模块结构属性 quantized_linear = quantize_dynamic(linear_model, {torch.nn.Linear}, dtype=torch.qint8) print("Original Model:", linear_model) print("Quantized Model:", quantized_linear) ``` 上述脚本片段展示了怎样借助内置功能迅速构建起基础版别的轻量化解决方案原型设计思路. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值