Pytorch添加自定义算子之（3）-配置onnxruntime的C++调用

最新推荐文章于 2025-05-11 15:37:45 发布
最新推荐文章于 2025-05-11 15:37:45 发布
阅读量403 收藏
点赞数
分类专栏： 深度学习之自定义算子实现 文章标签： pytorch c++ 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/baidu_28342107/article/details/132734699
版权
本文介绍了如何配置和使用ONNXRuntime进行C++调用Pytorch的自定义算子。首先从官方源下载并解压onnxruntime库，接着创建并实现自定义算子的cpp和h文件，然后在主函数中调用这些算子，并编写CMakeLists.txt以编译项目。在编译过程中，若遇到因编译器过旧导致的错误，可参照相关教程解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、安装onnxruntime库

地址：https://github.com/microsoft/onnxruntime/releases/download/v1.15.1/onnxruntime-linux-x64-gpu-1.15.1.tgz

二、解压至指定文件夹

在这里插入图片描述

三、调用自定义算子cpp文件

命名为：custom_op.cc

/*
 * SPDX-License-Identifier: Apache-2.0
 */
#include "custom_op.h"
#
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Pytorch添加自定义算子之（7）-使用onnxruntime自定义GPU与CPU最远点采样算子加载onnx模型
baidu_28342107的博客
02-27 524
参考： https://gitcode.net/mirrors/microsoft/onnxruntime/-/releases?spm=1033.2243.3001.5877 三、配置cuda_ops.cu（无作用） 四、配置cuda_ops.h（无作用） 五、配置custom_op_infer.h 六、配置custom_op_test.cc 七、配置sampling.cpp 八、配置sampling_gpu.cu文件 九、配置sampling_gpu.h文件 十、查看模型输出结果 查看GP
Pytorch添加自定义算子之（4）-配置onnxruntime的python调用
baidu_28342107的博客
02-27 378
参考上一篇C++的调用： https://blog.youkuaiyun.com/baidu_28342107/article/details/132734699 参考onnxruntime的windows调用： 2.动态库cpp文件：custom_py.cc 二、构建CMakeLists.txt 三、编译 可以看到成功后动态库.so文件以及路径
C++环境下onnxruntime推理自定义模型
m0_57254760的博客
04-29 5704
代码是一个使用ONNX Runtime C++ API执行图像处理任务的示例，具体来说是通过一个预训练的U-Net模型（假设）对输入图像进行某种形式的语义分割
在pytorch中使用自定义的cuda算子
最新发布
weixin_71945758的博客
05-11 182
本文完整演示了在PyTorch中集成自定义CUDA算子的标准流程，重点展示如何通过JIT编译机制实现自定义的cuda算子的开发与验证。核函数声明（sgemm.h）：作为C++与CUDA的接口桥梁，声明设备函数原型。PyTorch扩展绑定（sgemm.cpp）CUDA核函数实现（sgemm.cu）Python测试模块（main.py）.cpp文件：pybind绑定。.cu文件：具体的内核实现。.py文件：加载后使用。
Pytorch 自定义算子
绿色羽毛
08-13 2157
自定义激活函数算子 Pytorch 自定义激活函数，都需要继承torch.autograd.Function 类，其内部需要定义两个静态方法【@staticmethod】：forward & 1.forward方法：定义了输入张量（可以是多个），返回对应的输出（也可以是多个张量）；2. backward方法：定义了输出的剃度张量（可以是多个，必须和输出张量一一对应），返回输入张量（可以是多个，必须喝输入张量一一对应）【之所以一一对应，是因为计算图中的每个张量在方向传播的时候，输出张量和输入张量对应
PyTorch扩展自定义算子
weixin_45467930的博客
06-29 1197
pytorch拓展自定义算子方法总结
Pytorch添加自定义算子之（12）-开闭原则设计tensorrt和onnxruntime推理语义分割模型
baidu_28342107的博客
08-22 254
/ 导入动态库__declspec# pragma once # ifndef ABSTRACT_BASE_H # define ABSTRACT_BASE_H // 导入动态库 # ifdef _WIN32 # define IMPORT __declspec(dllimport) # else # define IMPORT # endif # include <opencv/cv.hpp> # include <string> using namespace std;
自定义算子onnx-bin
04-01
"自定义算子onnx-bin"这个主题涉及到的是如何在ONNX中处理自定义的运算符，这对于那些在标准库中找不到所需操作或者需要特定优化的开发者来说非常关键。 首先，我们需要理解ONNX的结构。ONNX使用图模型表示神经网络...
onnx算子的注册详解及案例 （完整版）
@bangbang的博客
12-14 489
在对swim-transformer导出onnx时，尽管我们已经安装官方文档将需要的库的安装好了，但在导出onnx时会发生下列的问题提示, 错误提示opset9不支持，但我们自然就想到通过提升opset版本，比如提升到12,13。结果发现导出onnx还是会报错从代码中发现我们有一个torch.roll算子，在onnx官方文档中发现onnx暂时是不支持该算子的导出的。return x# PyTorch的推理# onnxruntime的推理。
pytorch之C++实现自定义算子
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
02-16 2318
自定义算子 对于输入 x，其输出为 利用C++实现以上算子，总共只要实现两个文件： setup.py 利用python中提供的setuptools模块完成事先编译流程，将写有算子的C++文件，编译成为一个动态链接库（在Linux平台是一个.so后缀文件），可以让python调用其中实现的函数功能。需要setup.py编写如下 from setuptools import setup from torch.utils import cpp_extension setup( name='.
PyTorch自定义C++拓展算子、转换ONNX模型、ORT部署实现
嘤熊嚎杰的博客
03-01 2077
我们先来看一下建立的PyTorch模型，这是一个三层一维卷积模型，最后接了线性层完成分类任务输出。可以看到将应有的激活函数替换为了LIFSpike，并且传入了thresh和beta两个参数，模型中的其他参数省略。以下是LIFSpike的python部分实现，完整代码请见SNN-HAR，这里为了方便理解把源码中的ZIF替换为了FastSigmoid。
onnxruntime-win-x64-1.14.1
05-05
onnxruntime-win-x64-1.14.1推理库（CPU+GPU），c++版本，其中包含include，lib，dll动态链接库三种文件；
pytorch自定义算子导出onnx
MAX的专栏
11-20 1417
1、没有现成可用的算子，需要根据自己的接口重写。2、现有的算子接口不兼容，需要在原有的算子上进行封装。继承类，实现其forward()和backward()方法,就可以成为一个pytorch自定义算子。就可以在模型训练推理中完成前向推理和反向传播。forward() 函数的第一个参数必须是ctx, 后面是输出。在工程部署上，一般为了加快计算，自定义算子需要用cuda 实现forward()、backward（）kernel 函数。实现其symbolic 静态方法。
pytorch转onnx自定义算子
weixin_43656490的博客
12-21 1119
pytorch导出含有自定义算子的onnx文件
【pytorch扩展】CUDA自定义pytorch算子（简单demo入手）
木盏
07-04 1044
Pytorch作为一款优秀的AI开发平台，提供了完备的自定义算子的规范。我们用torch开发时，经常会因为现有算子的不足限制我们idea的迸发。众所周知，CUDA/C++都是编译性语言，编译以后再调用会比python这种解释性语言更快。所以，我们需要对CUDA有一个编译过程。直接“python setup.py install”即可完成cuda算子的编译和安装。这里的"sum_double_op"就是我们用CUDA写的算子。那这个可以直接调用，并且可以传递梯度的算子，需要怎么做呢？
pytorch 官方接口 自定义算子注册
weixin_43561808的博客
08-17 1907
pytorch官方提供了注册自己的自定义算子的接口，不需要像native_functions.yaml那样每次改源码，再编译 在pytorch仓库下找一个地方，创建新的文件夹 我建议在/pytorch/aten/src/ATen/core/op_registration下创建 创建的文件夹假设叫做myrelu 在myrelu下继续创建myrelu.cpp CMakeLists.txt 和 build文件夹 myrelu.cpp: #include <torch/script.h> torch:
保姆级教程！PyTorch自定义CUDA算子与运行时间分析
CV_Autobot的博客
03-25 1749
作者|godweiyang 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/358220419?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！完整流程下面我们就来详细了解一下PyTorch是如何调用自定义的CUDA算子...
Pytorch添加自定义算子之（2）-配置torch算子
baidu_28342107的博客
02-27 307
构建py文件名称为：export_custom_op.py可能出现的问题：重新较低版本的：protobuf。
Pytorch添加自定义算子之（9）-mmcv编译流程
baidu_28342107的博客
06-30 296
添加 C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.27.29110\bin\Hostx86\x64 到 PATH，则 cl.exe 可以在命令行中运行。修改D:\anaconda3\envs\mmcv\Lib\site-packages\torch\include\torch\csrc\jit\api\module.h。设置系统编码为UTF-8，只在当前cmd有效。
onnx安装部署
04-25
### 安装和部署ONNX的方法 #### 一、ONNX 和 ONNX Runtime 的安装 为了成功完成 ONNX 模型的部署，首先需要正确安装 ONNX 及其推理引擎 ONNX Runtime。以下是具体的安装方法： 1. **Python 环境下的安装** 使用 `pip` 或者 `conda` 工具可以轻松安装 ONNX 和 ONNX Runtime 库。推荐优先使用 conda 进行环境管理，特别是在遇到依赖冲突的情况下[^2]。 ```bash # 使用 Conda 安装 ONNX 和 ONNX Runtime conda install -c conda-forge onnx onnxruntime # 如果偏好 Pip，则可以通过以下命令安装 pip install onnx onnxruntime ``` 若在安装过程中发现已有库版本冲突（如 NumPy），建议通过创建独立虚拟环境解决此问题[^2]。 2. **C++ 环境下的安装** 对于 C++ 开发者，在 Linux 平台上部署 ONNX 模型时需手动编译或下载预构建二进制包。具体操作如下： - 下载官方发布的最新稳定版源码或者二进制文件。 ```bash git clone https://github.com/microsoft/onnxruntime.git cd onnxruntime ./build.sh --config Release --build_shared_lib --parallel ``` - 编译完成后，链接动态共享库至项目路径下，并确保开发环境中已配置好必要的依赖项，例如 Protobuf 和 Eigen。 --- #### 二、ONNX 模型的导出与验证 在实际应用之前，必须先将训练好的模型保存为 `.onnx` 文件格式。以 PyTorch 为例，展示如何将其模型转换为 ONNX 格式： ```python import torch import torchvision.models as models # 加载预定义模型 (ResNet18) model = models.resnet18(pretrained=True) # 设置输入张量形状 dummy_input = torch.randn(1, 3, 224, 224) # 导出到 ONNX 文件 torch.onnx.export( model, dummy_input, "resnet18_model.onnx", input_names=["input"], output_names=["output"], dynamic_axes={"input": {0: "batch_size"}, "output": {0: "batch_size"}} ) ``` 以上脚本会生成名为 `resnet18_model.onnx` 的文件，该文件即为目标模型文件[^1]。 随后可利用工具如 Netron 来可视化检查所生成的 ONNX 文件结构是否正常。 --- #### 三、基于 ONNX Runtime 的推理流程 一旦拥有有效的 `.onnx` 文件后，便可调用 ONNX Runtime 实现高效推理运算。下面给出 Python 推理实例代码片段： ```python import onnxruntime as ort import numpy as np # 初始化 Session session = ort.InferenceSession("resnet18_model.onnx") # 准备测试数据 test_data = np.random.rand(1, 3, 224, 224).astype(np.float32) # 获取输出名称列表 outputs = session.get_outputs() output_name = outputs[0].name # 执行推理计算 result = session.run([output_name], {"input": test_data}) print(result) ``` 对于 C++ 用户而言，同样遵循类似的逻辑框架加载模型并执行前向传播过程[^2]。 --- #### 四、常见注意事项 - 确保目标硬件支持所需算子集；如果某些自定义层未被原生支持，则可能需要额外扩展插件功能来弥补差距。 - 版本兼容性至关重要——不同版本间的 API 设计可能存在差异，请始终查阅对应文档获取最精确指导信息[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

誓天断发

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值