onnx 模型加载部署运行方式

1.通过文件路径的onnx模型加载方式:

在onnxruntime下面的主要函数:
session = Ort::Session(env, w_modelPath.c_str(), sessionOptions);

这里的文件路径是宽字节的,通过onnx文件路径直接加载模型。

在opencv下使用dnn加载onnx模型的主要函数:

std::string model_path = "./pose.onnx";

Net readNetFromONNX(model_path );

2.加密后的onnx模型解密加载方式

       

加密模型的部署的主要思路是:读取加密模型文件---->解密加密模型---->将明文onnx内容传给onnx API函数加载。使用的函数如下:

session = Ort::Session(env, decrypted, length,sessionOptions);

Ort::Session这个函数是一个参数重载函数,可以传递模型文件内存空间地址和空间长度。所以文件的加密方式可以自己定,能够解密出onnx明文就可以,将这个文件内存传给Ort::Session即可。

但是要注意的是dnn的cv::dnn::readNetFromONNX函数读取的是多字节格式,一定要注意。

其中:

net = cv::dnn::readNetFromONNX(decrypted, length);

ecrypted  是解密后的多字节格式的onnx文件内存地址

length 是onnx文件内容长度

### 不同框架中加载和使用ONNX模型 #### PyTorch 中加载 ONNX 模型 为了在PyTorch环境中加载ONNX模型,通常会先利用`torch.onnx.load`函数读取模型文件。之后可以通过调用`onnx.checker.check_model`来验证模型结构的有效性[^1]。 ```python import onnx from onnx import checker model = onnx.load("path_to_onnx_model.onnx") checker.check_model(model) ``` #### 使用 ONNX Runtime 进行推理 对于希望跨平台高效执行ONNX模型的情况,推荐使用专门优化过的ONNX Runtime作为推理解决方案。安装后可通过Python API轻松完成模型加载与预测操作。 ```python import onnxruntime as ort import numpy as np session = ort.InferenceSession("path_to_onnx_model.onnx", providers=['CPUExecutionProvider']) input_name = session.get_inputs()[0].name output_name = session.get_outputs()[0].name result = session.run([output_name], {input_name: input_data.astype(np.float32)})[0] ``` #### 浏览器端加载 ONNX 模型 当目标是在Web应用程序内部署ONNX模型时,则需借助特定工具链将原始模型转化为适用于浏览器环境的形式——通常是WebAssembly(WASM),从而允许JavaScript代码直接调用这些预编译后的二进制模块来进行实时计算[^2]。 #### Windows ML 加载 ONNX 模型 如果应用场景位于UWP(Universal Windows Platform)程序之中,那么可以直接依赖于Windows内置的Machine Learning组件来简化这一过程。创建新项目后只需简单几步就能让系统自动处理好所有必要的配置工作;最终开发者只需要关注业务逻辑部分即可[^3]。 #### Python 环境下其他方式加载 ONNX 模型 除了上述提到的方法之外,在纯Python环境下还可以考虑采用第三方库如`onnx-tf`或者`skl2onnx`等辅助工具帮助转换并加载来自不同源头训练得到的ONNX格式模型文件[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值