【MNN学习二】模型压缩与量化

最新推荐文章于 2025-04-21 16:02:37 发布
最新推荐文章于 2025-04-21 16:02:37 发布
阅读量5.9k 收藏 9
点赞数 2
分类专栏： MNN Learning 文章标签： MNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37643960/article/details/97182962
版权
本文介绍了MNN模型的量化作用，包括减小模型大小和提升性能。详细讲解了编译过程，如启用量化工具宏，并描述了量化工具的使用，包括量化模型和对比工具的生成。量化后的模型保存在特定目录下，通过测试比较运行时间来验证效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 量化的作用

2. 编译

3. 量化工具的使用

1. 量化的作用

    量化将网络中主要算子（卷积）由原先的浮点计算转成低精度的Int8计算，减少模型大小并提升性能

2. 编译

(1) 编译宏

    编译MNN时开启 MNN_BUILD_QUANTOOLS 宏，即开启量化工具的编译

(2) 编译产物

    量化模型的工具： quantized.out

    量化模型与浮点模型的对比工具：testQuanModel.out

3. 量化工具的使用

cd MNN/build
./quantized.out ../benchmark/models
了解本专栏 订阅专栏 解锁全文
万字长文-深度学习模型压缩和加速-量化、剪枝、蒸馏等
谢杨易的博客
04-30 1万+
1 背景 近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有： 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题...
FP16/INT8 MNN 量化
weixin_67051070的博客
08-15 1540
是的，经过QAT训练之后，通过convert指令将模型转换为量化模型后，使用torch.save保存下来的.pth文件就是量化后的模型。这种量化模型的.pth文件可以被用作推理或转换为其他格式。推荐流程: 先将 PyTorch 模型转换为 MNN，然后再使用 MNN 的原生工具进行量化。这种方式能确保量化过程适应 MNN 的推理引擎，避免跨框架量化引入的不兼容问题。理由: MNN 框架对量化的支持和优化是基于其特定的推理引擎，因此通过 MNN 的量化工具量化的模型通常能获得更好的推理性能和精度。EMA。
【KAWAKO】MNN-将pytorch训练出的pth模型转为mnn模型并进行训练量化
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-23 3777
目录 将pytorch训练好的.pth模型转为.onnx模型 使用MNNConvert命令将.onnx模型转为.mnn模型（linux上进行） 报错解决 大概过程就是 未完待续 将pytorch训练好的.pth模型转为.onnx模型 import torch import torch.onnx import models # 读取模型 model = models.crnn(inputdim=64, outputdim=1, pretrained_file= "trainedModel..
浅析移动终端深度学习推理框架之MNN
03-27 2232
MNN是一种深度学习的开源推理引擎，全称是"Mobile Neural Network"，主要用于在移动设备和嵌入式设备上执行深度神经网络模型的推理任务。它支持跨平台的推理引擎API，可以运行在不同的硬件设备上，包括Android、iOS、Linux 和 Windows 等系统。
关于量化的一些总结（参考mnn）
yunshangyue的博客
04-09 812
量化的一些总结
mnn量化
jacke121的专栏
07-25 3785
参考：https://zhuanlan.zhihu.com/p/73207495 今天MNN更新了新的工具包---CNN网络量化工具(quantization)，作者也第一时间进行了测试。提升的效果还是很可观的，量化前的CNN网络大小约为5.7M，在rk3399（android-8.1）的inference速度约为45ms。使用MNN提供的quantization工具进行量化后，模型大小减少为1.5M，在rk3399中的inference速度为29ms。 其使用的流程非常友好，首先使用MNN提供的量化工
五、MNN模型压缩与量化
大可的杨先森的博客
07-30 1936
深度学习模型文件mnn量化实践
大鱼的博客
01-07 3753
转化成mnn模型虽然可以进行推理 不过模型文件可能较大或者运行较慢的情况 特别是在移动设备等边缘设备上，算力和储存空间受限 因此压缩模型是一个急需的工作 mnn自带了量化工具，环境安装很简单，这文章编译就可以使用量化了 mnn模型文件是使用的是之前的文章训练并转化的mnn文件 在使用之前需要新建一个json文件，里面配置好内容 preprocessConfig.json { "format":"GRAY", "mean":[ 127.5 ],
【mnn】——模型离线量化流程代码浅析
怡宝2号
12-31 1873
mnn, 离线量化 1. 前言 mnn的离线量化，需要首先将其他模型转换成mnn的模型表达，再进行量化。 这里我们采用MAX_ABS进行weight权重量化，KL散度进行激活值的量化，int8对称量化。 2. Code 2.1 mnn模型读入与解析 std::unique_ptr<MNN::NetT> netT; { std::ifstream input(modelFile); std::ostringstream outputOs; .
深度学习模型压缩与优化加速（Model Compression and Acceleration Overview）
热门推荐
AI Flash
07-17 4万+
1. 简介 深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。 模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）： 线性或非线性量化：1/2bits, int8 和 fp16等； 结构或...
【YOLO优化与创新】模型压缩与量化：减少YOLO模型的资源消耗
![【YOLO优化与创新】模型压缩与量化：减少YOLO模型的资源消耗]...# 1. YOLO模型的简述与应用场
MNN量化—ADMM优化算法
独行侠
10-09 2947
作者：糖心他爸 链接：https://zhuanlan.zhihu.com/p/81243626 来源：知乎 从优化的角度出发（对应MNN中的ADMM求解） 从优化的角度出发，又该如何进行建模和求解呢？首先如果我们想从优化角度去解决该问题，我们首先需要先建立目标函数，这里我们定义一个目标：希望编码后的数据（int8）经过反编码后，跟原数据的”距离“尽可能的接近。该描述可以通过如下数学公式进行刻画： 广义目标函数 进一步的，假设我们这里选定的度量D为L2度量，f和E的选取跟文章一开始时候介绍的一致
MNN量化源码解析
学习笔记
07-16 2376
Int8量化流程 收集激活值的直方图； 基于不同的阈值产生不同的量化分布； 然后计算每个分布与原分布的相对熵，然后选择熵最少的一个，也就是跟原分布最像的一个。 MNN量化代码分析 量化代码入口 int main(int argc, const char* argv[]) { if (argc < 4) { DLOG(INFO) << "Usage: ./quantized.out src.mnn dst.mnn preTreatConfig.json\n";
MNN量化源码详解
qq_38109843的博客
07-07 4968
参考链接：https://www.zhihu.com/question/337513515
【KAWAKO】MNN-使用量化后的模型进行推理（c++）
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-29 1853
目录 下文需要include的MNN库和自带库 创建会话 输入数据 获取输入tensor 数据处理 将处理后的数据存入Tensor 运行会话 获取输出 使用CMakeLists.txt进行编译 路径目录 编译过程 下文需要include的MNN库和自带库 #include <MNN/ImageProcess.hpp> #define MNN_OPEN_TIME_TRACE #include <algorithm> #include <fstre...
MNN多输入多输出离线量化
学如不及,犹恐失之
06-14 966
MNN
【mnn】——PTQ离线量化代码梳理
怡宝2号
12-09 541
mnn离线量化代码梳理
MNN LLM：让你手机本地也能跑 DeepSeek R1 还能支持多模态
最新发布
淘系技术
04-21 1336
modelscope 用户可以下载后指定 config 文件运行，例如./mls serve -c /Users/songjinde/.cache/modelscope/hub/MNN/DeepSeek-R1-1.5B-Qwen-MNN/config.json。下载完成后，记得在 ~/.mnnmodels 文件夹下找到找到配置文件，设置 config.json 中的 backend 为合适的 backend, 例如 mac 上建议设置 backend 为 `metal`。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值