tensorflow 模型量化

最新推荐文章于 2025-04-17 17:45:33 发布

原创最新推荐文章于 2025-04-17 17:45:33 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种无需使用TFLite的TensorFlow模型量化方法。通过官方提供的量化脚本quantize_graph.py，可以将32位浮点型模型转换为8位整型模型，显著减小模型大小并提高运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章参考https://blog.youkuaiyun.com/u012101561/article/details/82587806?tdsourcetag=s_pcqq_aiomsg

tensorflow的量化有很多种方式，有些需要用到tflite，有些不需要，下面介绍一下不需要tflite也能量化的方式：

在较早的版本上有官方的一个量化脚本，比如tensorflow-1.10.0\tensorflow\tools\quantization\quantize_graph.py

假设你想把32bit浮点型的a.pb量化成8bit整型，命名为b.pb，只需在命令行中输入：

python quantize_graph.py --input=a.pb --output_node_names=out1,out2,out3 --output=b.pb --mode=eightbit

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

_沥川往事

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

TensorFlow模型压缩：量化与剪枝技术详解

AI大模型应用之禅

06-19

808

你是否遇到过这样的场景？用Python训练了一个准确率95%的图像分类模型，但想部署到手机APP时，发现模型文件500MB太大无法下载，或者手机CPU跑一次推理要2秒，用户等得不耐烦？本文的目的就是解决这类问题：通过TensorFlow提供的模型压缩技术（量化+剪枝），将大模型“瘦身”到原来的1/4甚至更小，同时尽量保持准确率，最终实现在手机、嵌入式设备等“小身材”硬件上流畅运行。本文覆盖从基础概念到实战代码的全流程，适合从入门到进阶的开发者。

深度学习模型量化实战：如何通过TensorFlow量化技术显著减小模型体积并加速推理

理论都是虚的，代码才是王道。

03-03

119

在深度学习领域，模型的体积和推理速度是两个非常重要的指标。随着模型复杂度的增加，模型的参数量也随之增加，导致模型体积庞大，推理速度变慢。这对于资源受限的设备（如移动设备、嵌入式设备）来说是一个巨大的挑战。为了解决这个问题，模型量化（Quantization）技术应运而生。量化技术通过将模型中的浮点数参数转换为低精度的整数，从而显著减小模型体积并加速推理速度。本文将详细介绍模型量化的原理、方法以及如何在TensorFlow中实现模型量化。

3 条评论您还未登录，请先登录后发表或查看评论

tensorflow 量化demo

12-11

tensorflow demo中以前版本支持的量化方式，在后续版本中被移除了。可用于学习如何量化，有一定价值。注意，之前该文件位于tensorflow-master/tensorflow/tools/文件夹下。如果没有积分可以私信我我单独发给你

tensorflow模型量化

weixin_33766168的博客

11-16

442

tensorflow模型量化/DATA/share/DeepLearning/code/tensorflow/bazel-bin/tensorflow/tools/graph_transforms/transform_graph \--in_graph=./model_resnet100.pb \--out_graph=/tmp/model_resnet100_quantized_graph....

Tensorflow 模型量化（Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）

edmond999的专栏

09-24

1328

最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...

Tensorflow模型量化(Quantization)原理及其实现方法

永远飞翔的鸟

07-28

1001

Tensorflow模型量化(Quantization)原理及其实现方法

tensorflow模型量化篇（1）量化方法及动态范围量化

weixin_43490422的博客

03-18

6769

1 量化方法在tensorflow官网中有两种类型的量化方法：量化感知训练（Quantization aware training）训练后量化（Post-training quantization）这两种方法一种是在训练中量化，一种是训练后量化。 1.1 优缺点比较：训练后：集成到tensorflow lite转换器中，迭代快、容易使用，但是模型精度损失较大。训练过程中：基于Keras搭建。相对难以使用，需要更长的时间来重新训练模型，但对模型精度的保持比较好。 2 训练后量化因为训练后

TensorFlow模型量化实战：三步压缩AI模型体积，实测ResNet缩小4倍

最新发布

理论都是虚的，代码才是王道。

04-17

962

如同将RAW格式照片转换为JPEG，模型量化通过将32位浮点数转换为8位整数（FP32→INT8），实现四倍存储压缩。这种有损压缩的精妙之处在于：通过校准数据集统计出各层的动态范围，使用缩放因子(scale)和零点(zero point)保留关键特征。原始计算：0.8732×1.2945+0.5623=1.692量化计算：114×42 + 74 = 4852 → 反量化：4852×0.0078≈1.685。

tensorflow量化感知训练_TensorFlow模型量化

weixin_39617252的博客

12-19

492

HRNet人脸特征点检测模型的实现是在PC下完成的。但是实际生活中在手机上使用该功能的场景数不胜数：人脸解锁、人脸支付、短视频与直播人脸特效都能看到它的身影。与PC不同，手持设备在运算能力、存储容量、电能供应等方面无法与数百瓦特功率的台式机相比。因此，深度学习模型在移动终端运行需要经过特别的改造。TensorFlow当前提供了4种模型优化策略，他们是：训练后量化训练感知量化剪枝权重聚类本文内容涉及...

tensorflow量化感知训练_tensorflow模型量化实例

weixin_39654352的博客

12-19

795

1，概述模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。对于量化用现在常见的min-max方式可以用公式概括为：$r = S (q - Z)$上面式子中q为量化后...

TensorFlow入门：使用卷积网络模型实现手势识别

12-24

tensorflow框架下构建训练一个简单的3层卷积神经网络实现分类问题

tensorflow .pb文件模型量化

Chown先森

01-18

4360

(1).下载解压tensorflow源码(2).下载安装bazel工具,要求jdk不低于1.8(3).编译量化脚本sudo bazel build tensorflow/contrib/quantization/tools:quantize_graph运行后报错:ERROR: no such package 'tensorflow/contrib/quantization/tools': BUIL

TensorFlow技术内幕（十一）：模型优化之量化（Quantize）

热门推荐

Jony0917的专栏

07-24

1万+

背景 Neural Network模型一般都会占用很大的磁盘空间，比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数，绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的，普通的压缩算法很难压缩它们的空间。一般模型的内部的计算都采用了浮点数计算，浮点数的计算会消耗比较大的计算资源（空间和cpu/gpu时间）,如果在不影响模型准确率的情况下，模型内部可以采用其...

tensorflow模型优化--量化

hobertony_7的专栏

05-10

894

量化的概念：量化(quantitative)，这里不是指金融上的量化交易，而是指离散化。量化是一个总括术语，是用比 32 位浮点数更少的空间来存储和运行模型，并且 TensorFlow 量化的实现屏蔽了存储和运行细节。神经网络训练时要求速度和准确率，训练通常在 GPU 上进行，所以使用浮点数影响不大。但是在预测阶段，使用浮点数会影响速度。量化可以在加快速度的同时，保持较高的精度。量化网络...

TensorFlow Lite 采坑记（二）：Model quantization 模型量化

weixin_43445477的博客

06-06

5612

TensorFlow Lite 从入门到放弃精通写在前面：笔者身为一个初入TensorFlow Lite的萌新，本系列文档的编写主要是为了方便记录、回顾和学习。其中出现的诸多错误，希望大家多多指正，不胜感激！ TensorFlow Lite 采坑记（一）：环境编译本片主要为以Ubuntu16开发环境为例逐一介绍Build TensorFlow from source的相关细节。 Macos也...

tensorflow的量化教程(2)

u012101561的博客

01-11

7978

Google提供的quantization-aware-trainning的量化训练方法,具体可以参考https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize 对应的论文 https://arxiv.org/abs/1712.05877 还有这个白皮书 https://arxiv.or...

python多变量非线性拟合_python实现多变量线性回归(Linear Regression with Multiple Variables)...

weixin_39794340的博客

12-04

1924

本文介绍如何使用python实现多变量线性回归，文章参考NG的视频和黄海广博士的笔记现在对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,...,xn)表示为：引入x0=1，则公式转化为：1、加载训练数据数据格式为：X1,X2,Y2104,3,3999001600,3,3299002400,3,3690001416,2,232000将数据逐行读取，...

tensorflow量化感知训练_TensorFlow 8 bit模型量化

weixin_39942474的博客

12-19

579

首先来一段keras dalao Francois Chollet的鸡汤：make it possiblemake it workmake it efficientmake it dependable and invisiblemove on to next layer and think about it again这段鸡汤已经把8-bit量化的需求和阶段已经说得很清楚了：提升算法效率What ...

tensorflow 模型int8 量化

06-09

整数量化需要在训练完成后进行，可以使用TensorFlow提供的tf.quantization API对已有的模型进行量化。量化后的模型可以使用TensorFlow Lite进行转换，以在移动设备上进行部署。具体的量化方法和参数设置需要根据...