深度学习模型的量化方法（论文学习 & tensorflow lite量化方法）

最新推荐文章于 2025-10-16 11:30:10 发布
原创 最新推荐文章于 2025-10-16 11:30:10 发布 · 2.7w 阅读 · 50 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度学习模型的量化方法，包括权重和激活函数的量化，对比了不同量化策略对模型性能的影响。研究显示量化对模型效果的影响因模型类型而异，权重的量化通常比激活函数的量化效果更好。在TensorFlow Lite中，八位量化能显著减小模型大小并提高推断速度，同时保持接近原始模型的精度。量化过程包括量化和反量化操作，通过优化处理连续量化操作以提高效率。

  1. Quantization

    1. 方法介绍

    2. 效果

      论文（参考文献a）中以imageNet数据（1.2M training images，1K categories，50k validation images），使用多个模型，从各个角度做了实验，对比quantization的效果，结果如下：

      1. forward效果
        AlexNet模型，

              不Quantization Q tilt (ReLU) sign tilt (hard tanh) Q(HWGQ) + ReLu backward sign + ReLU backward
        Alex Net Full Weight top 1 55.7 55.7 46.7 49.5  
最低0.47元/天 解锁文章
TensorFlow模型压缩：量化与剪枝技术详解
AI大模型应用之禅
06-19 914
你是否遇到过这样的场景？用Python训练了一个准确率95%的图像分类模型，但想部署到手机APP时，发现模型文件500MB太大无法下载，或者手机CPU跑一次推理要2秒，用户等得不耐烦？本文的目的就是解决这类问题：通过TensorFlow提供的模型压缩技术（量化+剪枝），将大模型“瘦身”到原来的1/4甚至更小，同时尽量保持准确率，最终实现在手机、嵌入式设备等“小身材”硬件上流畅运行。本文覆盖从基础概念到实战代码的全流程，适合从入门到进阶的开发者。
深度学习模型轻量化：剪枝、量化、蒸馏实战指南
AI架构师小马
07-15 700
当你在手机上使用AI拍照修图，或用智能手表监测健康数据时，背后的深度学习模型正面临一个共同挑战：如何在算力有限的设备上高效运行？本文将带你深入探索深度学习模型轻量化的三大核心技术——剪枝、量化、蒸馏。从生活化比喻到技术原理，从代码实现到实际案例，全面解析如何在保持模型性能的同时，将参数量降低90%、推理速度提升10倍以上。无论你是AI工程师、嵌入式开发者，还是对模型优化感兴趣的学习者，这篇实战指南都能为你提供从理论到落地的完整路径。
判断深度学习模型的稳定性_人工智能干货｜一线工程师带你学习深度学习模型量化理论+实践...
weixin_39681058的博客
11-20 1296
2019年的最后一天，送给自己一份特殊的礼物。模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1)量化算法介绍及其特点分析，让你知其然并知其所以然； 2)Pytorch 量化实战，让你不再纸上谈兵；3)模型精度...
深度学习模型量化方法
热门推荐
09-02 3万+
深度学习模型量化是一项重要的技术，旨在通过减少网络参数的比特宽度(‌比特宽度是指在特定时间内，数据传输过程中每个比特所占用的时间或空间)来减小模型大小和加速推理过程，同时保持模型性能，以便将模型部署到边缘或低算力设备上，实现降低成本、提高效率的目标。
模型量化（大白话）
最新发布
weixin_48783288的博客
10-16 973
模型量化是一种将深度学习模型中的浮点数权重和激活值转为低精度数值（FP32--->FP16、FP32--->int8等）的技术，同时尽可能减少量化后模型推理的误差。量化的好处有以下几点：（1）减少模型的存储空间和显存的占用（2）减少显存和TensorCore之间的数据传输量，从而加快模型推理时间（3）显卡对整数运算速度快于浮点型数据，从而加快模型推理时间正如上述所说，模型量化会对模型的精度和准确度产生一定的影响，因为量化后的模型可能无法完全保留原始模型中的所有信息和特征。
深度学习中模型量化-入门篇
weixin_42506418的博客
06-15 7795
深度学习模型的量化操作
深度学习模型量化
午夜的行人
09-27 920
模型量化是深度学习领域中的一项重要技术，它通过降低模型参数的精度，将浮点数转换为整数或定点数，从而实现模型的压缩和优化。
记录深度学习量化操作
lovely_yoshino的博客
09-09 8268
深度学习中做量化提升运行速度是最常用的方法，尤其是大模型这类非常吃GPU显存的方法。一般是高精度浮点数表示的网络权值以及激活值用低精度（例如8比特定点）来近似表示达到模型轻量化，加速深度学习模型推理，目前8比特推理已经比较成熟。比如int8量化，就是让原来32bit存储的数字映射到8bit存储。int8范围是[-128,127]， uint8范围是[0,255]。
量化价值投资AI革命：TensorFlow深度学习模型前沿研究综述
AI天才研究院
08-01 1149
1934年，本杰明·格雷厄姆在《证券分析》中提出“价值投资”的核心逻辑——价格是你付出的，价值是你得到的。此后80年，量化投资者用因子模型（如PE、PB、ROE）将这一逻辑转化为可计算的策略，但传统方法受限于线性假设、数据维度和非线性关系处理能力，难以应对复杂的市场环境。当深度学习与TensorFlow相遇，量化价值投资迎来了范式革命：神经网络能自动挖掘非线性因子组合、捕捉时间序列中的长期依赖、融合多模态数据（财务+新闻+舆情），甚至用注意力机制模拟人类分析师的“重点关注”。本文将从背景演变核心概念。
深度学习中的模型量化及实现示例
网络资源是无限的
08-24 1398
深度学习中的模型量化及实现示例
深度学习在量化投资中的应用
01-04
深度学习在量化投资中的应用，介绍了深度学习在投资的案例
深度学习工具箱模型量化库：量化和压缩深度学习模型-matlab开发
05-28
深度学习工具箱模型量化库可对您的深度学习模型进行量化和压缩。 它提供了仪器服务，使您能够在校准步骤中收集有关权重，激活和中间计算的层级数据。 使用仪器数据，库/附加组件可对模型进行量化，并提供度量标准以验证量化网络的准确性。 库/附加组件使迭代工作流能够优化量化方法，以满足所需的精度。 它提供了启发式选择正确的量化策略。 您可以验证量化网络，然后将精度与单个精度基准进行比较。 库/附加组件提供了一个“量化”应用程序，可让您分析和可视化仪器数据，以了解对选定图层的权重和偏差进行量化的准确性方面的权衡。 该库/附加组件支持针对支持的层的FPGA和NVIDIA GPU的INT8量化。 请在此处参考文档： https : //www.mathworks.com/help/deeplearning/ref/deepnetworkquantizer-app.html 该硬件支持包适用于R20
q_trading:基于深度学习和强化学习的量化交易系统
05-15
基于深度学习和强化学习的量化交易系统（基于深度学习和强化学习的定量交易系统） （中文版本在英文版本的下面，请拖动查看） 大纲： 主要结构 仍在努力 结论 主要结构： 该系统包括： 数据处理模块 价格预测模块 强化学习模块基于： 6个动作的设计（卖出，卖空，卖出持有，卖空，卖出，覆盖） 强化学习模块基于： 使用VWAP或BBIBOLL的上下线将价格转换为（-1,1） 分别设计两个增强学习模型，分别用于（买入，卖出持有）和（卖空，覆盖，持有） 设置两个模型的优先级，并决定应输出哪个操作 基于价格预测和RL收益的库存拣货策略 数据处理模块 我从Kaggle获得了数据集，该数据集是美国股票市场的每日价格和数量数据。 数据集包括开盘价，收盘价，高价，低价和数量。 但是，这种数据在深度学习和强化学习的训练中效果不佳。 因此，我创建了数十个技术分析功能以为输入生成更多功能。 通过这种方式
【深度学习】模型量化-笔记/实验
AI爱好者的博客，分享计算机领域相关知识
03-31 5949
深度学习的模型参数类型为FP32，每个数值在存储时需要32bit存储空间，若是将其转换为int8或者uint8来保存，那么模型的大小将会降低为1/4。下表为不同精度的数值计算成本，可以看出8bit数值的计算成本远低于32bit计算成本。
深度学习-量化
Joker_D_K的博客
07-03 959
模型量化是将神经网络模型中连续取值的权重或激活值近似为有限多个离散值的过程；
深度学习模型量化基础
LuchangLi 的专栏
11-30 9398
深度学习模型量化基础
【机器学习&深度学习】模型量化
qq_62223405的博客
08-05 1025
模型量化是工业界最成熟、最通用的模型压缩技术，尤其 INT8 推理已成为边缘部署的首选标准。
量化_深度学习
kyle1314608的博客
11-27 2036
、 一、模型量化的背景需求 Resnet-152神经网络的提出证明了越宽越深越大的模型往往比越窄越浅越小的模型精度要高，但是越宽越深越大的模型对计算资源要求更高，而现在模型应用越来越倾向于从云端部署到边缘侧，受限于边缘侧设备的计算资源，我们不得不考虑设备存储空间（storage）、设备内存大小（memory）、设备运行功耗（power）及时延性（latency）等等问题，特别是在移动终端和嵌入式设备等资源受限的边缘侧应用场景中更加需要我们进行优化。因此，为了解决此类问题模型量化应运而生，本篇我们将探讨模型量
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值