pth模型文件转为onnx，并利用magik进行量化

最新推荐文章于 2024-11-25 18:27:52 发布
最新推荐文章于 2024-11-25 18:27:52 发布
阅读量364 收藏 1
点赞数 3
CC 4.0 BY-SA版权
文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hashimoto_nanami/article/details/141265836

1. 在train.py中进行模型训练，导出为pth

2. 在infer.py->predict.py中的predict函数中，加载模型之后进行torch.onnx.export()

但注意，因为在量化时需要校准文件，所以需要将一部分wav文件读取特征后转化为bin文件，但需要注意wav文件的尺寸，此处设置的[1,398,80]是4s的文件

转化bin文件是通过

feature_np.tofile("data.bin")

3. 通过修改magik.cfg中的input，修改模型input入口，注意是此处应是batchnorm层的output

通过指定bin文件目录，可以修改参与校准的bin文件。也就是修改QUANT_DATASET_PATH和DEBUG_PATH

4. 通过vim修改post_quantizie.sh，将所需要的量化的模型作为参数传入，之后执行

./post_quantize.sh

子申-
关注
PyTorch模型量化工具学习
jacke121的专栏
05-17 4755
官方教程(英文)： https://pytorch.org/docs/stable/quantization.html​pytorch.org 官方教程(中文)： https://pytorch.apachecn.org/docs/1.4/88.html​pytorch.apachecn.org 目前很多高精度的深度学习模型所需内存、计算量和能耗巨大，并不适合部署在一些低成本的嵌入式设备中，为了解决这个矛盾，模型压缩技术应运而生，其主要是通过减少原始模型参数的数量或比特数来实现对内存和计..
pytorch训练图像分类模型pth转ONNX并测试
10-29
1. 搭建自己的简单二分类网络，使用pytorch训练和测试； 2. 将pytorch训练的pth模型转换成ONNX，并编码测试； 3. 含训练和测试数据，含训练ok的pth模型和ONNX模型，含完整python和C++实现； 4. 使用方法：首先运行“TrainTestConvertOnnx.py”执行“训练数据读入、模型训练、模型测试、导出onnx”，再运行“TestOnnx.cpp”测试onnx（需要配置OpenCV）；
pth模型文件转为onnx格式
二爷的博客
04-14 1万+
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
.pth文件转为.onnx格式
weixin_63935879的博客
05-22 987
训练好的模型保存为.pth格式转为.onnx格式
mmdeploy windows下pth2onnx 并对onnx进行量化
hasque2019的博客
11-23 1063
后期有时间学一下怎么部署自己的模型。
【KAWAKO】MNN-将pytorch训练出的pth模型转为mnn模型并进行训练量化
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-23 3912
目录 将pytorch训练好的.pth模型转为.onnx模型 使用MNNConvert命令将.onnx模型转为.mnn模型（linux上进行） 报错解决 大概过程就是 未完待续 将pytorch训练好的.pth模型转为.onnx模型 import torch import torch.onnx import models # 读取模型 model = models.crnn(inputdim=64, outputdim=1, pretrained_file= "trainedModel..
pytorch 的pth格式模型转onnx格式模型 - python 实现
DATABALL 的博客
11-25 590
pytorch 的pth格式模型转onnx格式模型 - python 实现
将PointNet训练好的pth模型转换为onnx模型，并基于C++的onnxruntime框架推理部署
funfan的博客
09-05 3021
将PointNet训练好的pth模型转换为onnx模型，并基于C++的onnxruntime框架推理部署
模型训练----将pth模型转换为onnx
混吃等死，研究生在读，毕业无望，偶尔搞点好玩的
03-28 3535
需要在虚拟环境中安装onnx和onnxruntime（GPU），环境和自己的cuda版本要对应上激活环境，查看环境的cuda版本,我是cuda11.6 +cudnn8302，那就选择1.14吧输入以下指令进行安装环境。
将pth模型转换为onnx模型，可以在cpu上运行
03-18
将pth模型转换为onnx模型，可以在cpu上运行
关于模型量化
m0_61913233的博客
09-08 266
训练后量化(PTQ)和量化感知训练(QAT)。PTQ方法，是将已经训练好的模型进行量化，同时只需要很少的数据或者不需要数据，少部分需要手动调整的超参数以及不需要端到端训练。QAT，它依赖神经网络在训练过程中进行模拟量化。由于卷积层的偏置 bias 没有被量化，它仍然是 float32 类型，因此我们需要将卷积结果 x 再映射回 float32，然后再与偏置 bias 相加。1. 量化卷积核权重：量化的目的是为了把原来的 float32 位的卷积操作，转换为 int8 的卷积操作，这样。
.pth文件转化为onnx文件，并进行可视化
zjl-wgf
04-03 1898
3、然后将生成的onnx模型，用网页打开。
pth转onnx模型、onnx转tensorrt模型、python中使用tensorrt进行加速推理（全网最全，不信你打我）
qq_15060477的博客
09-22 6008
本文向所有亲们介绍在python当中配置tensorrt环境、使用tensorrt环境进行推理的教程，主要分为两大部分，第一部分环境配置，第二部分前向推理。
模型量化：PTQ + onnx
ResumeProject的博客
03-12 1972
将 32 位浮点(实数)模型转换为 8 位整数模型
Pytorch模型(.pth)转onnx模型(.onnx)
热门推荐
John's Blogs
01-19 2万+
简介 Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。 ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习
掌握Pytorch模型 压缩 裁剪与量化
阿水
08-12 3018
在深度学习模型的搭建和部署中，我们需要考虑到模型的权重个数、模型权重大小、模型推理速度和计算量。本文将分享在Pytorch中进行模型压缩、裁剪和量化的教程。
pytorch 模型量化处理及导出onnx格式模型
znsoft的专栏
05-21 4701
量化时需要对算子进行量化处理，对输入数据fp32格式进行量化处理到int8, 再输入模型中。量化处理可以加快推理速度，减少模型占用空间 ，提高推理性能的必要选择。
TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(二)
周同学的博客
11-05 2221
TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(二)
君正magik将自己的模型量化，如何量化并export为onnx
Hashimoto_nanami的博客
07-24 879
但在debug过程中，我发现graph在trace完后为空，但在输出中明明有网络各层结构，仔细排查，并且输出的INFO只有remove各个节点，并没有insert，后发现在Tracer.trace的最后一行有一个。3. 由于在模型量化过程在，需要通过symbolic tracing将模型转化为图，代码说明可以查看http://pytorch.org/docs/master/fx.html#torch.fx.Tracer。1. 初始化网络为resnet。2. 由于在导入模型后，量化的核心代码在。
D:\Aris_e16_s272.pth，pth模型文件转为onnx格式
最新发布
07-02
<think>我们即将处理的任务是将PyTorch模型（.pth文件）转换为ONNX格式。ONNX（OpenNeural NetworkExchange）是一个开放格式，用于表示深度学习模型，它使得模型可以在不同框架之间转移。步骤：1.加载PyTorch模型：需要模型的定义（即网络结构）和保存的权重（.pth文件）。2.创建一个示例输入（dummyinput），这个输入的大小和类型需要与实际运行时一致。3.使用PyTorch的`torch.onnx.export`函数将模型导出为ONNX格式。注意：在转换之前，我们必须有模型的定义（类）。如果模型定义不在当前环境中，我们需要先定义它（与训练时的定义一致）。假设我们有一个模型定义在`model.py`中，类名为`MyModel`，并且我们已经训练好并保存了权重`D:\Aris_e16_s272.pth`。但是，由于我们不知道具体的模型结构，这里提供一个通用的转换代码框架。然而，请注意：由于没有具体的模型结构，我们无法直接运行代码。因此，我将提供一个通用的模板，你需要根据你的模型进行修改。假设我们有一个模型定义如下（示例模型）：-模型类：MyModel-输入：3通道的224x224图像以下是转换代码的步骤：1.导入必要的库2.定义模型类（如果已有定义，则直接导入）3.实例化模型并加载权重4.设置模型为评估模式5.创建虚拟输入（大小与训练时一致）6.导出ONNX模型代码示例：</think>以下是将PyTorch模型（.pth文件）转换为ONNX格式的详细解决方案： ### 解决方案步骤 1. **定义PyTorch模型结构**：必须与原始训练代码完全一致 2. **加载预训练权重**：从.pth文件加载参数 3. **创建虚拟输入**：生成符合模型输入要求的示例数据 4. **导出ONNX模型**：使用`torch.onnx.export`进行转换 5. **验证ONNX模型**：用ONNX Runtime检查导出结果 ### 完整代码示例 ```python import torch import torch.onnx from model import YourModelClass # 替换为你的模型类 # 1. 定义模型结构（必须与训练时一致） model = YourModelClass() # 实例化你的模型类 # 2. 加载预训练权重 checkpoint = torch.load('D:/Aris_e16_s272.pth', map_location='cpu') model.load_state_dict(checkpoint['model_state_dict']) # 根据实际键名调整 model.eval() # 设置为评估模式 # 3. 创建虚拟输入（根据模型输入维度调整） batch_size = 1 # 根据需求调整批次大小 dummy_input = torch.randn( batch_size, 3, # 输入通道数 (RGB图像为3) 224, # 图像高度 224 # 图像宽度 ) # 替换为你的模型输入尺寸 # 4. 导出ONNX模型 onnx_path = "D:/Aris_e16_s272.onnx" torch.onnx.export( model, dummy_input, onnx_path, export_params=True, # 导出权重 opset_version=13, # ONNX算子集版本 do_constant_folding=True, # 优化常量折叠 input_names=['input'], # 输入节点名称 output_names=['output'], # 输出节点名称 dynamic_axes={ # 动态维度配置 'input': {0: 'batch_size'}, 'output': {0: 'batch_size'} } ) # 5. 验证ONNX模型 import onnx import onnxruntime as ort # 验证模型结构 onnx_model = onnx.load(onnx_path) onnx.checker.check_model(onnx_model) # 验证运行时一致性 ort_session = ort.InferenceSession(onnx_path) outputs = ort_session.run( None, {'input': dummy_input.numpy()} ) print("ONNX模型输出:", outputs[0].shape) print("✅ 转换成功! ONNX模型保存至:", onnx_path) ``` ### 关键参数说明 1. **模型结构一致性**： - 必须使用与训练完全相同的模型类定义 - 权重加载键名需匹配（常见键名：`'state_dict'`, `'model_state_dict'`） 2. **动态维度配置**： ```python dynamic_axes={ 'input': {0: 'batch_size'}, # 第0维（批次）可变 'output': {0: 'batch_size'} } ``` - 允许处理不同批次的输入数据 - 固定维度（如图像尺寸）无需声明 3. **ONNX版本选择**： - `opset_version=13`：推荐使用较新版本（当前最新为18） - 查看支持版本：`print(torch.onnx.producer_version)` ### 常见问题处理 1. **权重加载报错**： ```python # 尝试忽略不匹配的键 model.load_state_dict(checkpoint, strict=False) ``` 2. **输入尺寸不匹配**： ```python # 查看模型期望输入尺寸 print(model) # 或检查权重文件中的相关配置 ``` 3. **自定义算子支持**： - 若包含非标准操作，需注册自定义符号 ```python torch.onnx.register_custom_op_symbolic(...) ``` 4. **量化模型导出**： ```python model = torch.quantization.convert(model) ``` ### 验证工具 1. **Netron可视化**： - 下载地址：https://github.com/lutzroeder/netron - 直接打开ONNX文件查看计算图 2. **ONNX Runtime推理测试**： ```python ort_session = ort.InferenceSession(onnx_path) ort_inputs = {ort_session.get_inputs()[0].name: input_data} ort_outs = ort_session.run(None, ort_inputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值