onnx转mnn模型mingw32编译的使用

已于 2024-10-25 16:59:13 修改
阅读量1.2k 收藏 32
点赞数 24
CC 4.0 BY-SA版权
文章标签： mnn 人工智能 深度学习
于 2024-05-28 14:51:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DaDianJiShiQi/article/details/139266727

介绍：手上有onnx模型文件，想用mingw32编译来推理，但onnx格式是不支持mingw32的，所以转为mnn格式来实现。MNN是一个高效、轻量的深度学习框架，支持深度模型推理与训练。

mingw32编译可以参考这篇。

61、Window11+Clion+MinGW32编译MNN使用_mnn win11 编译-优快云博客

1.下载文件和安装环境

1下载MNN，GitHub给的是源文件，可以按需要选择对应的编译器进行编译，本文只介绍mingw32进行编译。

GitHub - alibaba/MNN: MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba

下载解压得到一个MNN-master文件夹。

下载Cmake，下载最近版本的.msi安装包，安装时将其加入到环境变量。

CMake - Upgrade Your Software Build System

2.生成模型转换工具

mnn提供了从onnx生成mnn的模型转换工具MNNConvert，但是需要用Visual Studio来编译MNN-master文件夹的代码来生成这个MNNConvert转换工具。

可以直接用我生成好的，就不用安装Visual Studio，GitHub地址如下：

https://github.com/ZhuangJialin1996/MyMNNConvert

下面是演示用Visual Studio生成这两个工具文件，用现成的可以跳过。

Visual Studio下载地址：Visual Studio: 面向软件开发人员和 Teams 的 IDE 和代码编辑器

安装ninja，参考这篇。

​​​​​​问题描述:在Windows下没有预装ninja工具_windows安装ninja-优快云博客

这里用的是vs2022，勾选C++开发工具，安装。

PS：VS盗版可能出现问题，慎用。

vs2022安装好后，按照mnn文档给的流程生成可执行文件。

转换工具Windows编译 · 语雀

打开VS编译x64架构程序的虚拟环境

跳转到MNN-master文件夹下，执行以下指令。

mkdir build
cd build
cmake -G "Ninja" -DMNN_BUILD_SHARED_LIBS=OFF -DMNN_BUILD_CONVERTER=ON -DCMAKE_BUILD_TYPE=Release -DMNN_WIN_RUNTIME_MT=ON ..

构建后，编译。

ninja

完成后会在MNN-master\build下生成MNNConvert.exe工具和MNNConvert.pdb库

3.进行模型转换

有了工具就可以进行下面的模型转换。将上面两个工具文件，和onnx模型放进来。

然后用下面的命令行将xxxxxxxxx.onnx的模型转换为xxxxxxxxx.mnn模型，文件名自己定义

命令行

MNNConvert -f ONNX --modelFile xxxxxxxxx.onnx --MNNModel xxxxxxxxx.mnn

 模型转换完成

4.编译mnn生成mnn的库文件

下面是编译mnn生成后面C++推理需要的库文件。

我这里用的编译器是QT5.9.9自带的mingw32，根据安装QT的位置，先配置一下编译器路径到环境变量

qt下载地址

Index of /new_archive/qt/5.9/5.9.9

到MNN-master文件夹内，修改CMakeLists.txt配置，配置选项根据自己环境和需求来自定义配置

这里给出我的配置，做为参考：

# build options
option(MNN_USE_SYSTEM_LIB "For opencl and vulkan, use system lib or use dlopen" OFF)
option(MNN_BUILD_HARD "Build -mfloat-abi=hard or not" OFF)
option(MNN_BUILD_SHARED_LIBS "MNN build shared or static lib" ON)
option(MNN_WIN_RUNTIME_MT "MNN use /MT on Windows dll" OFF)
option(MNN_FORBID_MULTI_THREAD "Disable Multi Thread" OFF)
option(MNN_OPENMP "Use OpenMP's thread pool implementation. Does not work on iOS or Mac OS" OFF)
option(MNN_USE_THREAD_POOL "Use MNN's own thread pool implementation" ON)
option(MNN_BUILD_TRAIN "Build MNN's training framework" OFF)
option(MNN_BUILD_DEMO "Build demo/exec or not" OFF)
option(MNN_BUILD_TOOLS "Build tools/cpp or not" ON)
option(MNN_BUILD_QUANTOOLS "Build Quantized Tools or not" OFF)
option(MNN_EVALUATION "Build Evaluation Tools or not" OFF)
option(MNN_BUILD_CONVERTER "Build Converter" OFF)
option(MNN_SUPPORT_DEPRECATED_OP "Enable MNN's tflite quantized op" OFF)
option(MNN_DEBUG_MEMORY "MNN Debug Memory Access" OFF)
option(MNN_DEBUG_TENSOR_SIZE "Enable Tensor Size" OFF)
option(MNN_GPU_TRACE "Enable MNN Gpu Debug" OFF)
option(MNN_SUPPORT_RENDER "Enable MNN Render Ops" OFF)
option(MNN_SUPPORT_TRANSFORMER_FUSE "Enable MNN transformer Fuse Ops" OFF)
option(MNN_PORTABLE_BUILD "Link the static version of third party libraries where possible to improve the portability of built executables" OFF)
option(MNN_SEP_BUILD "Build MNN Backends and expression separately. Only works with MNN_BUILD_SHARED_LIBS=ON" OFF)
option(NATIVE_LIBRARY_OUTPUT "Native Library Path" OFF)
option(NATIVE_INCLUDE_OUTPUT "Native Include Path" OFF)
option(MNN_AAPL_FMWK "Build MNN.framework instead of traditional .a/.dylib" OFF)
option(MNN_WITH_PLUGIN "Build with plugin op support." OFF)
option(MNN_BUILD_MINI "Build MNN-MINI that just supports fixed shape models." OFF)
option(MNN_USE_SSE "Use SSE optimization for x86 if possiable" OFF)
option(MNN_BUILD_CODEGEN "Build with codegen" OFF)
option(MNN_ENABLE_COVERAGE "Build with coverage enable" OFF)
option(MNN_BUILD_PROTOBUFFER "Build with protobuffer in MNN" ON)
option(MNN_BUILD_OPENCV "Build OpenCV api in MNN." OFF)
option(MNN_BUILD_LLM "Build llm library based MNN." OFF)
option(MNN_BUILD_DIFFUSION "Build diffusion demo based MNN." OFF)
option(MNN_INTERNAL "Build with MNN internal features, such as model authentication, metrics logging" OFF)
option(MNN_JNI "Build MNN Jni for java to use" OFF)

在当前目录打开命令行，指定使用mingw32来进行编译

mkdir build_mingw32
cd build_mingw32
cmake -G "MinGW Makefiles" ..

等待Cmake完成，再执行编译命令

make -j8

PS：如果make命令不存在，把qt的mingw32-make.exe复制一个改成make.exe。

编译完成，生成的两个库文件libMNN.dll、libMNN.dll.a就是推理需要的库文件。

5.C++进行模型推理

前面生成的两个库文件libMNN.dll、libMNN.dll.a，再加上include\MNN文件夹里面的头文件，可以用来模型推理。

官方给出了3种方法，session、Module和Expr的方式(参考官方文档)进行推理，

Session API使用 — MNN-Doc 2.1.1 documentation

Module API使用 — MNN-Doc 2.1.1 documentation

下面演示使用session


#include "MNN/Interpreter.hpp"
#include "MNN/Tensor.hpp"
#include "MNN/ImageProcess.hpp"


int main()
{
    // 加载模型
    std::string modelFilePath = "./xxxxxxxxx.mnn";
    auto net = std::shared_ptr<MNN::Interpreter>(MNN::Interpreter::createFromFile(modelFilePath.c_str()));

    MNN::ScheduleConfig config;
    config.type = MNN_FORWARD_AUTO;
    auto session = net->createSession(config);

    // 从txt中读取测试输入数据
    std::vector<float> inputData;

    // 赋值给inputData
    inputData[0] = 1;  // 根据具体数据修改

    // 网络输入数据
    auto inputTensor = net->getSessionInput(session, NULL);
    memcpy(inputTensor->host<float>(), inputData.data(), inputData.size() * sizeof(float));

    // 执行推理
    net->runSession(session);
    auto outputTensor = net->getSessionOutput(session, NULL);

    // 网络输出数据
    float* outputData = outputTensor->host<float>();
    return 0;
}

下面演示使用Module


#include "MNN/expr/ExprCreator.hpp"
#include "MNN/expr/Module.hpp"
using namespace MNN::Express;

int main() {

    // 从模型文件加载并创建新Module

    // 输入名：多个输入时按顺序填入，其顺序与后续 onForward 中的输入数组需要保持一致
    const std::vector<std::string> input_names{"input"};    
    // 输出名，多个输出按顺序填入，其顺序决定 onForward 的输出数组顺序
    const std::vector<std::string> output_names{"output"};

    MNN::ScheduleConfig sConfig;
    sConfig.type = MNN_FORWARD_OPENCL;
    std::shared_ptr<MNN::Express::Executor::RuntimeManager> rtmgr(MNN::Express::Executor::RuntimeManager::createRuntimeManager(sConfig), MNN::Express::Executor::RuntimeManager::destroy);
//    rtmgr->setCache(".cachefile");
    Module::Config mdconfig; // default module config
    std::unique_ptr<Module> module; // module
    // 若rtMgr为 nullptr ，Module会使用Executor的后端配置
    module.reset(Module::load(input_names, output_names, EncodermodelPath.c_str(), rtmgr, &mdconfig));

    
    std::vector<VARP> inputs(1);
    // 对于 tensoflow 转换过来的模型用NHWC，由 onnx 转换过来的模型用NCHW
    inputs[0] = MNN::Express::_Input({1, inlength}, NCHW, halide_type_of<float>());
    // 设置输入数据
    std::vector<float*> input_pointer = {inputs[0]->writeMap<float>()};
    for (int i = 0; i < inlength; ++i) {
        input_pointer[0][i] = data_norm[0][i];
    }
    // 执行推理
    std::vector<MNN::Express::VARP> outputs = module->onForward(inputs);
    // 获取输出
    auto output_ptr = outputs[0]->readMap<float>();

    return 1;

}

39、Pytorch口罩模型，转成ncnn和mnn进行口罩检测
sxj731533730
03-04 2188
基本思想：手中有一个口罩检测的模型，随手记录一下MNN转化过程 一、模型工具转化 ubuntu@ubuntu:~/MNN/build$ ./MNNConvert -f TF --modelFile facemask.pb --MNNModel facemask.mnn --bizCode MNN Start to Convert Other Model Format To MNN Model... Start to Optimize the MNN Net... inputTensors : [ da
37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署
sxj731533730
01-20 8971
基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题 一、首先我fork了大佬的代码，查阅主代码结构是华为分类垃圾的源码,然后作者参考了swin_transformer的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub （1）首先将模..
ONNX格式模型转MNN格式模型
gy笨瓜的博客
10-03 4693
本文主要包含ONNX格式模型转MNN格式模型的两种方法 第一种方法：在线转换 网址：https://convertmodel.com/ 网页截图如下： 第二种方法：使用MNNConvert工具转换（待csdn审核通过，加入windows系统MNNConvert.exe的优快云下载地址） 测试系统：Windows 7 Service Pack 1 测试版本： 使用方法：控制台输入命令（注意目录切换） MNNConvert.exe –f ONNX --modelFile model_onnx.onnx..
MNN源码阅读之模型转换
学习笔记
05-12 1462
模型转换 每一个开源框架，都有自己的模型格式，MNN中支持，CAFFE，TensorFLow，ONNX等格式的网络结构转换成mnn格式。 为了方便大多都会将训练好的网络模型转成ONNX第三方通用的结构，这里主要分析mnn如何将ONNX的结构转换成自己支持的mnn格式。 模型转换的流程： Created with Raphaël 2.2.0开始读取模型转换成mnn模型mnn模型写入文件结束 0. onnx结构 在此之前，需要先了解下onnx的结构。 onnx最外层是model，包含一些基础信息，onnx版本，
win64下原生的gcc mingw32 4.7.1 通过cmd编译
08-29
这是官网的最新的64位版本，直接解压的后在环境变量里添加解压的路径。如我解压在D:\Program Files\mingw64。环境变量就是D:\Program Files\mingw64\bin。一定要到bin哦。然后用管理员身份运行cmd直接敲gcc -v 会出来版本信息就成功了。之后就是gcc -o的编译的大家应该都知道的不知道自己去百度咯。
onnx转mnn
jacke121的专栏
04-10 3408
python mnn1.1.4 cmd_dtr 是转换指令 注释的代码是调用MNNConvert.exe进行转换，这个是1.0.0版本的mnn，可以用 import os def onnx2mnn(onnx_name,mnnname): cmd_dtr="python -m MNN.tools.mnnconvert -f ONNX --modelFile "+onnx_name+" --MNNModel "+mnnname+" --bizCode MNN" ...
pytorch转onnx转mnn并验证
sinat_16423171的博客
04-08 2347
pytorch训练的模型在实际使用时往往需要转换成onnx或mnn部署，训练好的模型需先转成onnx： import sys import argparse import torch import torchvision import torch.onnx from mobilenetv2 import MobileNetV2 if __name__ == '__main__': model=MobileNetV2(2) model_path='./model/mob
强化学习训练出来的onnx格式文件如何转换成mnn格式文件
SG_AiRobot的专栏
10-30 519
在编译 MNN 时，确保启用了 ONNX 支持。确保你使用的是最新版本的 MNN。或在 GitHub 上提问以获得社区的帮助。如果问题仍然存在，可以参考 MNN 的。如果还有其他问题，请告诉我！
mingw32编译
02-28 697
出现 cannot run C compiled programs错误时， 关掉所有的杀毒软件。
MNN编译模型转换工具
dubochao_xinxi的博客
07-05 685
首先需要安装protobuf(3.0以上)其它平台请参考。
ubuntu下mingw32交叉编译环境搭建
04-08
ubuntu下mingw32交叉编译环境搭建，包含详细的步骤和执行命令行。
onnxruntime-win-x64-1.14.1
05-05
onnxruntime-win-x64-1.14.1推理库（CPU+GPU），c++版本，其中包含include，lib，dll动态链接库三种文件；
阿里0.2.1.5 MNN模型转换工具
12-12
阿里深度学习框架MNN 在ubantu环境下编译好的MNN模型转换工具 版本号为0.2.1.5 MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。
Pytorch模型转成ONNX和MNN
forget-tears的博客
08-02 6419
简介 本文介绍Pytorch模型转成ONNX和MNN模型，ONNX和MNN框架不做详细介绍。 PyTorch转ONNX 需要安装好pytorch环境和onnx包 pip install torch pip install onnx 以mobilenet为例，下载好mobilenet.py和预训练模型mobilenet_v2-b0353104.pth，转换代码如下 import torch import torch.nn as nn import torch.onnx import onnx from mo
mingw32编译lua
yuxikuo_1的专栏
10-23 625
cd到lua/src目录 mingw32-make mingw
使用Mingw32编译boost库
dyw的专栏
08-09 4821
本文简要描述mingw32版编译boost库。
cmake + mingw32构建和编译第三方lib库, qt 使用lib库
闪电彬彬的博客
04-12 2667
cmake+mingw 编译 openmesh
ONNX模型转MNN模型中permute使用说明
大山的专栏
04-27 2144
ONNX模型转MNN模型中permute使用说明 问题描述：在利用TensorRT或MNN或OpenVINO等推理引擎加载ONNX模型的过程中，为了少写一些代码，经常会将对图像均值归一化、通道变化等处理写到ONNX模型中。然而在利用MNN推理引擎来加载ONNX模型时，推理结果与原训练模型输出结果不一致，经过排查发现，MNN中的permute函数不支持NCHW或者NHWC格式。MNN中permute...
onnx转化ncnn详细实现过程
abusedemo的博客
10-10 5977
win环境下安装Opencv，参考opencv的安装，在opencv官网下载opencv3.4.10，注意选择win版本。接下来需要添加环境变量，在此电脑=>高级系统设置=>环境变量的系统变量部分的Path添加cmake的bin目录。同样在vs2019中操作，新建目录，cd到新目录下，执行下面命令行，注意中间的路径需要替换为自己的文件路径。CMake是一个跨平台的安装（编译）工具，可以用简单的语句来描述所有平台的安装(编译过程)。cmake，用的是3.19.1，通常来说>=3.15就没问题的。
onnx转换mnn模型
最新发布
02-12
### 将ONNX模型转换为MNN模型 为了实现从ONNX到MNN的转换，可以采用`MNNConvert`工具或专门设计用于此目的的`onnx2mnn`工具。 #### 使用 `MNNConvert` 通过命令行调用`MNNConvert`来执行转换操作。具体指令如下所示： ```bash MNNConvert -f ONNX --modelFile xxxxxxxxx.onnx --MNNModel xxxxxxxxx.mnn [^1] ``` 这条命令指定了输入文件格式(`-f`)为ONNX，并提供了具体的`.onnx`文件路径作为源模型以及目标输出的`.mnn`文件名。 #### 使用 `onnx2mnn` 另一种方法是利用`onnx2mnn`工具来进行更简便的一键式转换过程。该方式适用于已经具备ONNX格式的强化学习或其他类型的神经网络模型。使用方法如下： ```bash ./onnx2mnn -f /path/to/your/model.onnx -o /path/to/output/model.mnn [^5] ``` 这种方式不仅简化了命令参数设置，还可能提供更好的兼容性和性能优化选项。 两种途径都能有效地完成由ONNX至MNN格式之间的转变工作，开发者可以根据个人喜好和技术环境选择最适合自己的方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值