tensorflow模型量化

最新推荐文章于 2025-06-15 11:20:23 发布
原创 最新推荐文章于 2025-06-15 11:20:23 发布 · 2.2w 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详述了使用TensorFlow进行模型量化的步骤，包括源码编译安装TensorFlow，编译量化工具，以及量化GoogLeNet模型的过程。量化后模型的存储空间减少了75%，从92M减小到24M，并测试了量化前后模型的识别效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

量化简单来说就是将32浮点数近似地用8位整数存储和计算,量化后,模型占用存储空间减小75%,起到了压缩模型的效果.

关于量化的具体原理可以参考:http://fjdu.github.io/machine/learning/2016/07/07/quantize-neural-networks-with-tensorflow.html,对量化的原理有详细说明,这里不再赘述.

由于按照http://fjdu.github.io/machine/learning/2016/07/07/quantize-neural-networks-with-tensorflow.html的教程出现问题,通过查找才量化成功,因此在此记录一下使用tensorflow模型量化流程.

1.源码编译安装tensorflow

量化公具的使用,需要源码编译安装tensorflow,如果之前有通过pip直接安装tensorflow,则需要将tensorflow先卸载,然后下载源码编译安装tensorflow,具体过程可以参考:http://blog.youkuaiyun.com/u011961856/article/details/76725411

2.编译量化工具:

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习模型量化实战：如何通过TensorFlow量化技术显著减小模型体积并加速推理
理论都是虚的，代码才是王道。
03-03 119
在深度学习领域，模型的体积和推理速度是两个非常重要的指标。随着模型复杂度的增加，模型的参数量也随之增加，导致模型体积庞大，推理速度变慢。这对于资源受限的设备（如移动设备、嵌入式设备）来说是一个巨大的挑战。为了解决这个问题，模型量化（Quantization）技术应运而生。量化技术通过将模型中的浮点数参数转换为低精度的整数，从而显著减小模型体积并加速推理速度。本文将详细介绍模型量化的原理、方法以及如何在TensorFlow中实现模型量化。
tensorflow量化感知训练_tensorflow模型量化实例
weixin_39654352的博客
12-19 794
1，概述模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。对于量化用现在常见的min-max方式可以用公式概括为：$r = S (q - Z)$上面式子中q为量化后...
tensorflow pb模型量化
liuzhengnan007的专栏
05-24 4913
1：下载解压tensorflow源码，并进入tensorflow目录。2：编译量化脚本（一定要加sudo）sudo bazel build tensorflow/tools/quantization:quantize_graph3：开始量化.pb文件sudo bazel-bin/tensorflow/tools/quantization/quantize_graph  --input=/tmp/P...
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
TensorFlow基础教程：从入门到实战
最新发布
weixin_28746457的博客
06-15 773
TensorFlow是Google于2015年开源的人工智能框架，广泛用于机器学习和深度学习领域。其应用覆盖了语音识别、图像识别、自然语言处理等多个领域，为研究者和开发者提供了一个强大的工具库。张量是TensorFlow中最基本的数据结构，可以认为是一个多维数组，是用于存储数据的容器。张量的创建和使用是进行任何深度学习任务的基础。TensorFlow中的张量不仅用于存储数据，还能够参与到后续的计算过程中。张量的定义：# 创建一个常量张量# 执行计算图，获取张量的值。
模型量化
博客
10-10 8226
https://zhuanlan.zhihu.com/p/132561405 模型量化是一种将浮点计算转成低比特定点计算的技术，可以有效的降低模型计算强度、参数大小和内存消耗，但往往带来巨大的精度损失。尤其是在极低比特(<4bit)、二值网络(1bit)、甚至将梯度进行量化时，带来的精度挑战更大。 Part 1 量化综述 什么是模型量化？为什么要进行模型量化？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，
TensorFlow Lite模型量化方法
weixin_38906715的博客
04-19 289
##CUDA_VISIBLE_DEVICES=-1& tflite_convert --saved_model_dir ./sfz1model/ --output_file ./tflite/sfz1.tflit def convert2f16(): modeldir='./sfz1model' tfdir='./tflite/float16.tflite' tf...
TensorFlow技术内幕（十一）：模型优化之量化（Quantize）
Jony0917的专栏
07-24 1万+
背景 Neural Network模型一般都会占用很大的磁盘空间，比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数，绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的，普通的压缩算法很难压缩它们的空间。 一般模型的内部的计算都采用了浮点数计算，浮点数的计算会消耗比较大的计算资源（空间和cpu/gpu时间）,如果在不影响模型准确率的情况下，模型内部可以采用其...
TensorFlow模型量化实战：三步压缩AI模型体积，实测ResNet缩小4倍
理论都是虚的，代码才是王道。
04-17 956
如同将RAW格式照片转换为JPEG，模型量化通过将32位浮点数转换为8位整数（FP32→INT8），实现四倍存储压缩。这种有损压缩的精妙之处在于：通过校准数据集统计出各层的动态范围，使用缩放因子(scale)和零点(zero point)保留关键特征。原始计算：0.8732×1.2945+0.5623=1.692量化计算：114×42 + 74 = 4852 → 反量化：4852×0.0078≈1.685。
Tensorflow模型量化(Quantization)原理及其实现方法
爱问西瓜爱大树的博客
01-11 7174
Tensorflow模型量化(Quantization)原理及其实现方法
tensorflow量化感知训练_TensorFlow模型量化
weixin_39617252的博客
12-19 492
HRNet人脸特征点检测模型的实现是在PC下完成的。但是实际生活中在手机上使用该功能的场景数不胜数：人脸解锁、人脸支付、短视频与直播人脸特效都能看到它的身影。与PC不同，手持设备在运算能力、存储容量、电能供应等方面无法与数百瓦特功率的台式机相比。因此，深度学习模型在移动终端运行需要经过特别的改造。TensorFlow当前提供了4种模型优化策略，他们是：训练后量化训练感知量化剪枝权重聚类本文内容涉及...
量化_深度学习
kyle1314608的博客
11-27 1977
、 一、模型量化的背景需求 Resnet-152神经网络的提出证明了越宽越深越大的模型往往比越窄越浅越小的模型精度要高，但是越宽越深越大的模型对计算资源要求更高，而现在模型应用越来越倾向于从云端部署到边缘侧，受限于边缘侧设备的计算资源，我们不得不考虑设备存储空间（storage）、设备内存大小（memory）、设备运行功耗（power）及时延性（latency）等等问题，特别是在移动终端和嵌入式设备等资源受限的边缘侧应用场景中更加需要我们进行优化。因此，为了解决此类问题模型量化应运而生，本篇我们将探讨模型量
模型量化（Model Quantization）
noobiee的博客
08-27 3623
模型量化（Model Quantization）通过某种方法。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型IEEE标准中的FP16格式如下：取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4×1038。从FP16的范围可以看出，用FP16代替原FP32神经网络计算的最大问题就是精度损失。
tensorflow的量化教程(2)
u012101561的博客
01-11 7977
Google提供的quantization-aware-trainning的量化训练方法,具体可以参考https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize 对应的论文 https://arxiv.org/abs/1712.05877 还有这个白皮书 https://arxiv.or...
tensorflow模型量化篇（2）全整形量化及半浮点数量化、量化感知训练
weixin_43490422的博客
03-18 4459
文章目录1 全整形量化（Full integer quantization）1.1 训练一个keras模型并转换为tflite格式1.2 使用浮点回退量化（float fallback quantization）1.3 仅有integer的量化（integer-only quantization） 1 全整形量化（Full integer quantization） 在模型转换时将权重张量以及激活张量从32位浮点数量化为8bit整数 1.1 训练一个keras模型并转换为tflite格式 #数据预处理 tr
[模型优化] 2. 模型量化
ayiya_Oese的博客
05-19 946
本文详细介绍了深度学习模型量化的相关技术，包括定点量化、动态量化、静态量化、量化感知训练和混合精度量化等方法。
模型量化技术
热爱生活~热爱工作~热爱每一天~
04-22 546
具体来说，量化会将模型参数使用的数据类型，转换为更少位数表示，并尽可能达到相同信息的效果。例如，假设您的模型权重原始以32位(32-bit)浮点数(Float32)存储。量化(Quantization)技术专注于用。，因为使用较少位进行计算所需时间更短。同时，较低的精度还可以。
模型量化详解
热门推荐
WZZ18191171661的博客
12-01 6万+
目录1、模型量化是什么？2、为什么需要做模型量化？3、模型量化动机是什么？4、模型量化分类4.1 线性量化4.1.1 对称量化4.1.2 非对称量化4.2 逐层量化、逐组量化和逐通道量化4.3 在线量化和离线量化4.4 比特量化4.5 权重量化和权重激活量化5、模型量化原理详解5.1 原理详解5.2 具体案例6、模型量化实现步骤7、Pytorch模型量化详解7.1 简介7.2 pytorch量化工...
模型量化--超详细解惑
zzylalalala的博客
11-26 1252
量化就是把高位宽（Float32）表示的权值或者激活值用较低位宽来近似表示（INT8， INT4，……），在数值上的体现就是将连续的值离散化。即原来表示一个权重需要使用float32表示，量化后只需要使用int8位。
tensorflow 模型int8 量化
06-09
整数量化需要在训练完成后进行，可以使用TensorFlow提供的tf.quantization API对已有的模型进行量化。量化后的模型可以使用TensorFlow Lite进行转换，以在移动设备上进行部署。 具体的量化方法和参数设置需要根据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值