深度学习模型的量化方法（论文学习 & tensorflow lite量化方法）

最新推荐文章于 2025-07-03 16:04:43 发布
最新推荐文章于 2025-07-03 16:04:43 发布
阅读量2.7w 收藏 50
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 模型压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cokeonly/article/details/79024279
本文探讨了深度学习模型的量化方法，包括权重和激活函数的量化，对比了不同量化策略对模型性能的影响。研究显示量化对模型效果的影响因模型类型而异，权重的量化通常比激活函数的量化效果更好。在TensorFlow Lite中，八位量化能显著减小模型大小并提高推断速度，同时保持接近原始模型的精度。量化过程包括量化和反量化操作，通过优化处理连续量化操作以提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. Quantization

    1. 方法介绍

    2. 效果

      论文（参考文献a）中以imageNet数据（1.2M training images，1K categories，50k validation images），使用多个模型，从各个角度做了实验，对比quantization的效果，结果如下：

      1. forward效果
        AlexNet模型，

              不Quantization Q tilt (ReLU) sign tilt (hard tanh) Q(HWGQ) + ReLu backward sign + ReLU backward
        Alex Net Full Weight top 1 55.7 55.7 46.7 49.5  
最低0.47元/天 解锁文章

200万优质内容无限畅学
TensorFlow模型压缩：量化与剪枝技术详解
AI大模型应用之禅
06-19 789
你是否遇到过这样的场景？用Python训练了一个准确率95%的图像分类模型，但想部署到手机APP时，发现模型文件500MB太大无法下载，或者手机CPU跑一次推理要2秒，用户等得不耐烦？本文的目的就是解决这类问题：通过TensorFlow提供的模型压缩技术（量化+剪枝），将大模型“瘦身”到原来的1/4甚至更小，同时尽量保持准确率，最终实现在手机、嵌入式设备等“小身材”硬件上流畅运行。本文覆盖从基础概念到实战代码的全流程，适合从入门到进阶的开发者。
深度学习模型的压缩与轻量化技术
AI大模型应用之禅
10-03 686
深度学习，模型压缩，轻量化，效率，可部署性，精度 1. 背景介绍 深度学习在图像识别、自然语言处理、语音识别等领域取得了突破性的进展，但其模型规模庞大，计算资源需求高，部署成本高昂，这限制了其在移动设备、嵌入式系统等资源受限环境中的应用。因此，深度学习模型的压缩与轻量化技术成为一个重
深度学习模型量化
午夜的行人
09-27 786
模型量化是深度学习领域中的一项重要技术，它通过降低模型参数的精度，将浮点数转换为整数或定点数，从而实现模型的压缩和优化。
深度学习中模型量化-入门篇
weixin_42506418的博客
06-15 7165
深度学习模型的量化操作
PyTorch深度学习模型量化实践指南
weixin_35414484的博客
05-17 732
量化技术的核心目的是减少模型大小并加快推理速度，同时尽可能减少精度损失。通过对权重和激活应用低比特表示，量化使得模型可以更高效地在边缘设备如手机和嵌入式设备上运行。在深度学习任务中，量化可以分为以下几类：权重量化：对模型权重参数应用量化技术。激活量化：对模型中间层的激活输出应用量化技术。输入量化：对模型输入数据应用量化技术。量化模型文件是记录了量化模型所有参数和结构信息的文件，通常包括模型的权重、偏置、层信息等数据。
深度学习模型量化方法
热门推荐
09-02 3万+
深度学习模型量化是一项重要的技术，旨在通过减少网络参数的比特宽度(‌比特宽度是指在特定时间内，数据传输过程中每个比特所占用的时间或空间)来减小模型大小和加速推理过程，同时保持模型性能，以便将模型部署到边缘或低算力设备上，实现降低成本、提高效率的目标。
判断深度学习模型的稳定性_人工智能干货｜一线工程师带你学习深度学习模型量化理论+实践...
weixin_39681058的博客
11-20 1241
2019年的最后一天，送给自己一份特殊的礼物。模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1)量化算法介绍及其特点分析，让你知其然并知其所以然； 2)Pytorch 量化实战，让你不再纸上谈兵；3)模型精度...
记录深度学习量化操作
lovely_yoshino的博客
09-09 8139
深度学习中做量化提升运行速度是最常用的方法，尤其是大模型这类非常吃GPU显存的方法。一般是高精度浮点数表示的网络权值以及激活值用低精度（例如8比特定点）来近似表示达到模型轻量化，加速深度学习模型推理，目前8比特推理已经比较成熟。比如int8量化，就是让原来32bit存储的数字映射到8bit存储。int8范围是[-128,127]， uint8范围是[0,255]。
【社区分享】从零开始学习 TinyML，建立 TensorFlow 深度学习模型（技术优化篇）
tensorflowforum的博客
12-09 1万+
本文来自社区投稿与征集，作者王玉成，ML&IoT Google Developers Expert，温州大学智能锁具研究院总工程师。 了解更多：https://blog.youkuaiyun.com/wfing 经过前面几章的讨论，我们了解了TinyML 的概念，完成了一个最简单的TinyML 的模型并且运行在微控制器上，得出最基本的结果。但是在实际的工程应用中，模型建立之后，也需要再进一步结合许多优化方面的技术，这就是我们接下来想要探讨的。 5. 优化 TinyML 这本书也详细的向我...
深度学习框架 人工智能操作系统 训练&前向推理 PyTorch Tensorflow MindSpore caffe 张量加速引擎TBE 深度学习编译器 多面体 polyhedral AI集群框架
万有文的博客
04-03 1343
深度学习框架发展到今天，目前在架构上大体已经基本上成熟并且逐渐趋同。无论是国外的Tensorflow、PyTorch，亦或是国内最近开源的MegEngine、MindSpore，目前基本上都是支持EagerMode和GraphMode两种模式。
【深度学习】模型量化-笔记/实验
AI爱好者的博客，分享计算机领域相关知识
03-31 5744
深度学习的模型参数类型为FP32，每个数值在存储时需要32bit存储空间，若是将其转换为int8或者uint8来保存，那么模型的大小将会降低为1/4。下表为不同精度的数值计算成本，可以看出8bit数值的计算成本远低于32bit计算成本。
深度学习在量化投资中的应用
01-04
深度学习在量化投资中的应用，介绍了深度学习在投资的案例
深度学习工具箱模型量化库：量化和压缩深度学习模型-matlab开发
05-28
深度学习工具箱模型量化库可对您的深度学习模型进行量化和压缩。 它提供了仪器服务，使您能够在校准步骤中收集有关权重，激活和中间计算的层级数据。 使用仪器数据，库/附加组件可对模型进行量化，并提供度量标准以验证量化网络的准确性。 库/附加组件使迭代工作流能够优化量化方法，以满足所需的精度。 它提供了启发式选择正确的量化策略。 您可以验证量化网络，然后将精度与单个精度基准进行比较。 库/附加组件提供了一个“量化”应用程序，可让您分析和可视化仪器数据，以了解对选定图层的权重和偏差进行量化的准确性方面的权衡。 该库/附加组件支持针对支持的层的FPGA和NVIDIA GPU的INT8量化。 请在此处参考文档： https : //www.mathworks.com/help/deeplearning/ref/deepnetworkquantizer-app.html 该硬件支持包适用于R20
q_trading:基于深度学习和强化学习的量化交易系统
05-15
基于深度学习和强化学习的量化交易系统（基于深度学习和强化学习的定量交易系统） （中文版本在英文版本的下面，请拖动查看） 大纲： 主要结构 仍在努力 结论 主要结构： 该系统包括： 数据处理模块 价格预测模块 强化学习模块基于： 6个动作的设计（卖出，卖空，卖出持有，卖空，卖出，覆盖） 强化学习模块基于： 使用VWAP或BBIBOLL的上下线将价格转换为（-1,1） 分别设计两个增强学习模型，分别用于（买入，卖出持有）和（卖空，覆盖，持有） 设置两个模型的优先级，并决定应输出哪个操作 基于价格预测和RL收益的库存拣货策略 数据处理模块 我从Kaggle获得了数据集，该数据集是美国股票市场的每日价格和数量数据。 数据集包括开盘价，收盘价，高价，低价和数量。 但是，这种数据在深度学习和强化学习的训练中效果不佳。 因此，我创建了数十个技术分析功能以为输入生成更多功能。 通过这种方式
深度学习模型量化基础
LuchangLi 的专栏
11-30 8639
深度学习模型量化基础
量化_深度学习
kyle1314608的博客
11-27 1976
、 一、模型量化的背景需求 Resnet-152神经网络的提出证明了越宽越深越大的模型往往比越窄越浅越小的模型精度要高，但是越宽越深越大的模型对计算资源要求更高，而现在模型应用越来越倾向于从云端部署到边缘侧，受限于边缘侧设备的计算资源，我们不得不考虑设备存储空间（storage）、设备内存大小（memory）、设备运行功耗（power）及时延性（latency）等等问题，特别是在移动终端和嵌入式设备等资源受限的边缘侧应用场景中更加需要我们进行优化。因此，为了解决此类问题模型量化应运而生，本篇我们将探讨模型量
深度学习模型轻量化方法之【量化】
m0_73916791的博客
12-19 2356
量化虽然有着硬件友好和功效提升的特点，但它也引入了模型性能的折衷。因此，设计有效的量化策略需要在模型大小、性能以及运算速度之间做出平衡。随着深度学习算法和硬件加速技术的快速发展，量化方法在使深度网络轻量化和提高部署效率方面持续发挥着重要作用。
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 9041
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
深度学习-量化
最新发布
Joker_D_K的博客
07-03 803
模型量化是将神经网络模型中连续取值的权重或激活值近似为有限多个离散值的过程；
python大语言模型量化版本
05-15
Python大语言模型量化版本是指将Python语言编写的深度学习模型进行量化，以减少模型大小和运行时的内存占用，从而提高模型在移动设备和嵌入式设备上的性能和效率。常用的Python深度学习框架，如TensorFlow Lite、PyTorch Mobile等，都支持对模型进行量化。 量化模型的基本思路是通过降低模型中的参数精度来减少模型大小和内存占用。例如，将原来的32位浮点数参数转换为8位整数或16位浮点数参数。这样可以大幅度降低模型大小，同时对于一些模型来说，还可以提高模型在移动设备上的推理速度。 量化模型需要在训练过程中或者训练后进行，一般分为两种方式：离线量化和在线量化。离线量化是指在训练完成后，将训练好的模型转换为量化版本；在线量化则是在训练过程中对模型进行实时量化。 如果您想了解更多关于Python大语言模型量化版本的知识，建议您深入了解相关深度学习框架的文档和教程。同时，您也可以查阅相关论文和技术博客来了解更多细节和实现方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值