将pytorch 模型转为 ncnn模型

最新推荐文章于 2024-08-08 18:52:13 发布
最新推荐文章于 2024-08-08 18:52:13 发布
阅读量801 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 模型部署 文章标签： pytorch android ncnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Magicapprentice/article/details/119949303

将pytorch 模型转为 ncnn模型（vs 2019 ）

文章目录

step 1 pth文件转为onnx文件

具体步骤可以参考：https://github.com/ultralytics/yolov5/blob/master/export.py
和https://blog.youkuaiyun.com/weixin_44753371/article/details/119328952的step1

step2:.onnx转ncnn模型

编译protobuf-3.4.0

下载 protobuf-3.4.0 https://github.com/google/protobuf/archive/v3.4.0.zip

cd <protobuf-root-dir>
mkdir build
cd build
cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF ../cmake
nmake
nmake install

Build ncnn library

cd <ncnn-root-dir>
mkdir -p build
cd build
cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -DProtobuf_INCLUDE_DIR=<protobuf-root-dir>/build/install/include -DProtobuf_LIBRARIES=<protobuf-root-dir>/build/install/lib/libprotobuf.lib -DProtobuf_PROTOC_EXECUTABLE=<protobuf-root-dir>/build/install/bin/protoc.exe ..
nmake
nmake install

或：

cd <ncnn-root-dir>
mkdir -p build
cd build
cmake -G"Visual Studio 16 2019" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -DProtobuf_INCLUDE_DIR=<protobuf-root-dir>/src -DProtobuf_LIBRARIES=<protobuf-root-dir>/build-vs2019/Release/libprotobuf.lib -DProtobuf_PROTOC_EXECUTABLE=<protobuf-root-dir>/build-vs2019/Release/protoc.exe ..

cmake --build . --config Release

[option] -DNCNN_VULKAN=ON …

\build\tools\onnx\Release 路径下可以找到onnx2ncnn.exe文件.

onnx模型转为ncnn

cd <ncnn-root-dir>\build\tools\onnx\Release
onnx2nccn.exe <onnxfilepath> 
# 当前目录下就会出现ncnn.bin,ncnn.param文件

step2 报错处理

  • 1：nmake not find

找到nmake.exe文件的位置然后加入PATH环境变量：

D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.16.27023\bin\HostX64\x64

  • 2： RC Pass 1: command “rc /fo CMakeFiles\cmTC_deb0b.dir/manifest.res CMakeFiles\cmTC_deb0b.dir/manifest.rc” failed (exit code 0) with the following output:
    系统找不到指定的文件。NMAKE : fatal error U1077: ““D:\Program Files\CMake\bin\cmake.exe””: 返回代码“0xffffffff”
    Stop.
    NMAKE : fatal error U1077: ““D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.16.27023\bin\HostX64\x64\nmake.exe””: 返回代码“0x2”
    Stop.

找到rc.exe文件的位置加入path

C:\Program Files (x86)\Windows Kits\10\bin\10.0.17763.0\x64\rc.exe

将step2 的build目录清空并且将命令 替换为：

参考自：https://github.com/Tencent/ncnn/issues/2549

cd <protobuf-root-dir>
mkdir build
cd build
cmake -G"Visual Studio 16 2019" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF ../cmake

cmake --build . --config Release

cmake -G"Visual Studio 16 2019" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF …/cmake

运行结果如下所示：

image-20210826173143846.png

cmake --build . --config Release 运行结果如下：

image-20210826174418843-1629971268515.png

Visual Studio 17 2022        = Generates Visual Studio 2022 project files.
                                 Use -A option to specify architecture.

* Visual Studio 16 2019        = Generates Visual Studio 2019 project files.
        Use -A option to specify architecture.
    Visual Studio 15 2017 [arch] = Generates Visual Studio 2017 project files.
                                   Optional [arch] can be "Win64" or "ARM".
    Visual Studio 14 2015 [arch] = Generates Visual Studio 2015 project files.
                                   Optional [arch] can be "Win64" or "ARM".
    Visual Studio 12 2013 [arch] = Generates Visual Studio 2013 project files.
                                   Optional [arch] can be "Win64" or "ARM".
    Visual Studio 11 2012 [arch] = Generates Visual Studio 2012 project files.
                                   Optional [arch] can be "Win64" or "ARM".
    Visual Studio 10 2010 [arch] = Generates Visual Studio 2010 project files.
                                   Optional [arch] can be "Win64" or "IA64".
    Visual Studio 9 2008 [arch]  = Generates Visual Studio 2008 project files.
                                   Optional [arch] can be "Win64" or "IA64".

  • 报错信息：CMake Error at CMakeLists.txt:265 (message):
    The submodules were not downloaded! Please update submodules with “git
    submodule update --init” and try again.

    # 不要使用download zip 下载 ncnn，使用git clone 下载
git clone https://github.com.cnpmjs.org/Tencent/ncnn.git
cd ncnn
git  submodule update --init
# 然后执行step2 ncnn编译操作

    ncnn编译成功后如下图所示：

image-20210827111116194-1630033879029.png

cmake --build . --config Release 运行结果如下：

image-20210827111836387.png

参考链接：

  • https://github.com/Tencent/ncnn/issues/2549
  • https://blog.youkuaiyun.com/weixin_44753371/article/details/119328952
  • https://github.com/ultralytics/yolov5/blob/master/export.py
  • https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-windows-x64-using-visual-studio-community-2017
YOLOX （pytorch）模型 转 ONNX 转 ncnn 之C++运行推理【YOLOX 实战三】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
08-26 3571
本博文接上篇 YOLOX （pytorch）模型 ONNX export | 运行推理【YOLOX 实战二】 文章目录YOLOX Deploymentncnn in C++环境搭建Step1 【ncnn 极简编译安装】Step2【 Use provided tools to generate onnx file 】Step3【Generate ncnn param and bin file.】Step4【Open yolox.param 对其进行修正】Step5 【Use ncnn_optimize t.
pytorch算法模型转换为onnx--＞ncnn（落地项目全生命周期3)
BigData_Mining的博客
04-04 1246
这一章节我们要对我们已经训练好的模型进行转换，分为三个步骤：1）pytorch模型转为onnx模型；2）onnx模型精简；3）onnx模型转为ncnn模型。 一：pytorch模型转onnx模型 我们以pytoch自带的算法为案例： import torch import torchvision #define resnet18 model model = torchvision.models.resnet18(pretrained=True) #define input shape x = torch.
PyTorch模型转为ncnn
wangmou211的博客
08-09 1425
PyTorch模型转为ncnn 参考链接：https://blog.youkuaiyun.com/weixin_43541325/article/details/117421050 1. 安装onnx, pip install --upgrade onnx onnxruntime 2. 导出onnx模型 以torchvision自带的resnent18为例, 将PyTorch的模型导出为onnx的格式。 import torch import torchvision # An instance of your mo
pytorch模型转ncnn
cnnmena的博客
01-19 800
pytorch模型转ncnn, linux离线安装ncnn
将pytorch训练的模型转为ncnn模型
weixin_44753371的博客
08-02 2243
1、训练自己的pytorch模型 训练完成后，生成.pth后缀模型，此时要转为可部署的ncnn模型需要经历一些过程，如下：.pth -> .onnx -> .pram 和 .bin模型 2、.pth转.onnx 2.1 避坑 有时候会出现onnx库不能将某些模块转换出来，如mobilenet中的hardswish激活函数就不能被转换，原因是由于pytorch的版本低，导致无法转换，可以升级pytorch的版本。 2.2 代码 以下代码为将.pth文件转为.onnx文件 import torch
win10平台下将PyTorch模型转成ncnn模型
Star_ID的博客
04-14 1051
PyTorch模型转onnx模型再转成ncnn模型
【mamba模型零基础采用NCNN框架部署APK】Pytorch模型转NCNN模型
weixin_43509698的博客
03-09 448
两种方法利弊，如果采用新技术的模型，建议采用pnnx。因为会出现很多算子不支持的情况，就需要一个个进行修改，onnx不利用修改算子。1.pytorch模型转onnx模型，在优化onnx模型，最后通过onnx2ncnn.exe将onnx模型转为NCNN模型。2.Pytorch模型转换为TorchScript模型，即pt,在通过pnnx.exe转换为NCNN模型。
Pytorch模型部署：torch-onnx-ncnn
MY_WARNING的博客
08-22 2337
部署
YOLOv5-pytorch转ncnn模型
u011473714的专栏
04-03 1726
本文记录了yolov5迁移转ncnn模型的详细过程 流程三步走：1、pytorch转换成onnx； 2、onnx转换成ncnn；3、在android部署ncnn。 在此感谢逝去的头发 o(╥﹏╥)o 一、pytorch -> onnx 1、 打开yolov5/models/export.py，修改红色框路径 转换后我们得到 yolov5s.onnx 2、去掉onnx模型的冗余维度 pip install onnx-simplifier python -m onnxsim yo
让模型从Pytorch到NCNN——Pytorch模型向NCNN框架部署的小白向详细流程（PNNX模型转换、Linux模型使用）
m0_56942491的博客
08-08 3925
一开始，稚嫩的我只是想能在实际应用场合中使用一些深度模型（结果没想到后面坑这么大），这就需要涉及到，如何将实验室里基于pytorch的一个开发模型，部署到算力和系统架构都不同的嵌入式设备中。随后我了解到了，部署到嵌入式设备上需要借助一些深度学习模型部署框架，这其中最著名的可能就是 ONNX (Open Neural Network Exchange) 了，我在阅读论文中也时常看到这个词汇，当时还不知道是啥。其他的还有腾讯家的 NCNN、阿里家的 MNN (Mobile Neural Network) 等。在
pytorch模型（pth，pkl）转ncnn（中介onnx）（附搭建ncnn教程）
qq_50444970的博客
08-19 4787
pytorch模型（pth，pkl）转ncnn（中介onnx）（附搭建ncnn教程） 文章目录pytorch模型（pth，pkl）转ncnn（中介onnx）（附搭建ncnn教程）部署ncnn在windows上部署ncnn（基于VS2019）在Ubuntu18.04上部署ncnnpytorch模型转onnx（以TDnet为例）onnx转ncnn 部署ncnn pytorch转ncnn是要在电脑上部署好ncnn环境，下图为可部署ncnn的平台 在windows上部署ncnn（基于VS2019） 一.安装VS2
【深度学习】win10下pytorch转ncnn手把手教程
qq_42595835的博客
05-06 3373
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、环境配置1.VS20192.CMake3.21.33.OpenCV3.4.134.protobuf3.4.05.编译ncnn二、使用步骤1.引入库2.读入数据总结 前言 最近需要把pytorch转为onnx再转为ncnn。整体流程大概为： 1、pytorch转为onnx； 2、使用onnx-simplifier工具简化onnx模型； 3、简化后的onnx转化为ncnn。 一、环境配置 1.VS2019 点击链接去官网安.
Pytorch 模型通过转为ncnn移植android
Ceri的博客
12-29 1952
模型转换 pytorch转onnx import torch.utils.data from torch.autograd import Variable from squeezenet import squeezenet1_2 import onnxruntime import numpy as np from onnxruntime.datasets import get_example import cv2 import onnx model_file = '/home/bbt/qinghua
pytorch生成的pth文件转成onnx文件再转成ncnn最后真机调试
大雷哥
12-15 2884
官方与训练pth文件代码如下 import torch import torchvision import torch.nn as nn import collections from torchsummary import summary from model import vgg from torchvision import models out_onnx = './vgg16Net.onnx' model = models.vgg16(pretrained=True) params = model
【pytorch】ncnn
JNing
09-22 398
onnx转ncnn 完整实现： def onnx2ncnn(self): assert os.path.isfile(simplified_onnx_path) os.system('onnx2ncnn {} {} {}'.format(simplified_onnx_path, param_path, bin_path)) print('\n param has been save to {}'.format(param_path)) print(' bin has
pytorch训练模型移植至ncnn
u013548568的博客
09-29 1134
pytorch训练模型移植至ncnn 第一步是pytorch模型往caffe模型的转换 采用的工具是网路公开的代码，https://github.com/xxradon/PytorchToCaffe，此时会生成prototxt和caffemodel两个新文件。 第二部是往ncnn迁移 ncnn安装 https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux-x86 安装好之后，进行相应的转换 1）首先，上一步生成的mobile
caffe模型转ncnn模型
qq_39686950的博客
04-14 562
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言步骤bug总结 前言   最近在使用腾讯的ncnn框架时，使用ubuntu系统把基于caffe框架的alexnet模型转换为了基于ncnn框架的alexnet模型，在此过程学到了很多，因此记录一下。 步骤   1、下载ncnn框架并编译，可参考该博客。   2、下载caffe框架（https://github.com/BVLC/caffe/tree/master/models/bvlc_alexnet）和权重文件（http:/
Windows系统下把PyTorch模型转为ncnn模型流程
qq_39686950的博客
04-24 3269
文章目录前言一、大概流程及ONNX模型简介二、环境配置1、需要安装的软件2、在Windows系统下构建ncnn环境3、VS2015配置三、步骤1、把PyTorch模型（.pth文件）转为onnx模型（.onnx文件）2、简化onnx模型3、生成ncnn模型4、使用VS编译ncnn模型总结 前言   最近需要部署深度学习模型，选用了腾讯的ncnn框架，也就是要把训练好的PyTorch模型（.pth文件）转换为ncnn模型（.param和.bin文件），这次是在Windows 10系统部署，中间遇到了很多坑.
如何打开深度学习模型
最新发布
06-11
<think>我们正在讨论如何加载或运行深度学习模型。根据用户的问题，他/她想了解如何加载或启动深度学习模型。结合站内引用，我们可以提供一些步骤和策略。引用[1]提到了深度学习模型在实际应用中的关键步骤，但没有直接说明如何加载模型。引用[2]、[3]、[4]则涉及了模型部署，这包含了加载模型的部分。特别是引用[3]提到了将PyTorch训练好的模型部署到安卓端的过程，包括将.pth文件转换为ncnn支持的模型文件，然后在安卓端加载运行。引用[4]则提到了C++部署深度学习模型的学习路线，其中涉及模型量化、剪枝等优化技术，这些优化后也需要加载模型。因此，加载或运行深度学习模型的一般步骤包括：1.**模型转换**（如果需要）：将训练框架保存的模型转换为目标部署环境支持的格式。例如，PyTorch的.pth文件可转换为ONNX格式，再转换为ncnn格式（用于移动端）或TensorRT引擎（用于GPU）。2.**加载模型**：在目标环境中，使用相应的库加载转换后的模型文件。3.**准备输入数据**：将输入数据（如图像、文本）预处理为模型需要的格式（例如归一化、调整大小等）。4.**运行模型**：将预处理后的数据输入模型，执行前向传播（推理）得到输出。5.**后处理**：将模型的输出转换为有意义的应用程序结果。具体步骤因框架和环境而异。下面以几个常见场景为例：###1.PyTorch模型加载（Python环境）在PyTorch中，加载模型通常包括以下步骤：```pythonimporttorchimporttorchvision.modelsasmodels#定义模型结构（必须与保存时一致）model=models.resnet18(pretrained=False)num_ftrs=model.fc.in_featuresmodel.fc=torch.nn.Linear(num_ftrs,10)#假设我们分类10类#加载模型权重（通常为.pth或.pt文件）model.load_state_dict(torch.load('model_weights.pth'))model.eval()#设置为评估模式（关闭dropout等）#准备输入数据（示例：一张随机图像）input_tensor=torch.randn(1,3,224,224)#输入尺寸根据模型要求调整#运行模型withtorch.no_grad():output=model(input_tensor)```###2.使用ONNX加载模型（跨框架）ONNX是一种开放格式，可以在不同框架中互操作。例如，将PyTorch模型转为ONNX后，可用ONNXRuntime运行：```pythonimportonnxruntime#加载ONNX模型ort_session=onnxruntime.InferenceSession("model.onnx")#准备输入（需要按照模型的输入名称）input_name=ort_session.get_inputs()[0].nameinput_data=...#预处理后的数据（numpy数组）#运行模型outputs=ort_session.run(None,{input_name:input_data})```###3.移动端部署（如安卓）引用[3]提到使用ncnn。一般步骤：-将PyTorch模型转ONNX，再用ncnn工具转为ncnn格式（.param和.bin）。-在安卓项目中集成ncnn库，然后加载模型：```cpp#include<ncnn/net.h>ncnn::Netnet;net.load_param("model.param");net.load_model("model.bin");```-准备输入数据并推理（参考ncnn示例）。###4.边缘设备（如树莓派、Arduino）引用[2]提到部署到嵌入式芯片。通常需要将模型转换为TensorFlowLite格式（.tflite）：```python#在Python中加载TensorFlowLite模型importtensorflowastfinterpreter=tf.lite.Interpreter(model_path="model.tflite")interpreter.allocate_tensors()input_details=interpreter.get_input_details()output_details=interpreter.get_output_details()#准备输入数据input_data=...#预处理后的numpy数组，形状匹配interpreter.set_tensor(input_details[0]['index'],input_data)#运行interpreter.invoke()output_data=interpreter.get_tensor(output_details[0]['index'])```###注意事项-**模型格式匹配**：确保加载的模型格式与框架要求一致。-**预处理和后处理**：必须与训练时一致，否则影响结果。-**硬件加速**：部署时可利用硬件加速库如TensorRT（NVIDIAGPU）、CoreML（苹果）等。-**内存管理**：在资源受限的设备上要关注内存和计算量。以上是加载或运行深度学习模型的基本方法。实际应用中，还需根据部署环境（服务器、Web、移动端、嵌入式）选择合适的框架和优化策略。§§相关问题§§1.加载模型时出现模型结构与权重不匹配问题，如何解决？2.模型部署到嵌入式设备上需要考虑哪些资源限制？3.除了PyTorch和TensorFlow，还有哪些深度学习框架支持模型加载？4.如何优化加载深度学习模型的性能？</think> ### 如何加载或运行深度学习模型 加载和运行深度学习模型分为四个核心步骤，结合引用内容具体说明： #### 1. **模型转换（格式预处理）** 训练好的模型（如PyTorch的`.pth`文件）需转换为部署环境支持的格式： - 移动端：转换为ncnn格式（[^3]） - 嵌入式设备：转换为TensorFlow Lite或专用格式（[^2]） - 服务端：可转为ONNX或TensorRT格式（[^4]） ```python # PyTorch转ONNX示例 import torch model = torch.load("model.pth") dummy_input = torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, "model.onnx") ``` #### 2. **环境配置与库加载** - **Python环境**（服务器/PC）： ```python import torch model = torch.jit.load("model.pt") # PyTorch model.eval() ``` - **移动端（安卓）**： 集成ncnn等推理框架（[^3]），通过JNI调用C++代码： ```java // Android示例 Ncnn.init(); // 初始化ncnn引擎 Net net = new Net(); net.load_param("model.param"); net.load_model("model.bin"); ``` - **嵌入式设备**： 使用TensorFlow Lite Micro或专用推理引擎（[^2][^4]） #### 3. **数据预处理与推理** 输入数据需匹配训练时的预处理逻辑： ```python # 图像预处理示例 import cv2 image = cv2.imread("input.jpg") image = cv2.resize(image, (224, 224)) tensor = torch.tensor(image).permute(2,0,1).float()/255.0 # 模型推理 with torch.no_grad(): output = model(tensor.unsqueeze(0)) ``` #### 4. **性能优化关键策略**（[^4]） - **量化压缩**：将FP32转为INT8，减少75%内存占用 - **批处理**：一次处理多组数据提升吞吐量 - **硬件加速**：调用GPU/NPU加速芯片（安卓端用NNAPI） > **典型场景对比**： > | 部署目标 | 推荐框架 | 模型要求 | > |--------------|----------------|-------------| > | 服务器 | PyTorch/TensorRT | 无限制 | > | 安卓/iOS | ncnn/TFLite | 量化/轻量化 | > | 树莓派 | TFLite Micro | ＜10MB | ### 常见问题解决方案 1. **架构不匹配错误** - 原因：训练/推理环境库版本不一致 - 方案：使用`torch.jit.trace`固化模型架构 2. **移动端内存溢出** - 方案：应用模型剪枝（[^4]） + INT8量化 3. **实时性不足** - 方案：批处理 + 异步推理流水线 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值