ONNX
关注
分享
扫一扫
丶Shining
深度学习爱好者，深度学习部署优化。
Github:https://github.com/xxradon;
Mail:wangdong_cn@qq.com
展开
-
十、ONNX Runtime与pytorch的对接方法汇总
来源：1、https://github.com/onnx/tutorials/tree/master/PyTorchCustomOperatorHow to export Pytorch model with custom op to ONNX and run it in ONNX RuntimeThis document describes the required steps for e...转载 2020-03-08 12:30:02 · 5004 阅读 · 1 评论 -
四、ONNX Runtime中的构建工具CMake使用指南和ABI_Dev_Notes
翻译来源通常，有多种方法可以完成同一件事。这就是为什么我们有此指南。这与哪个正确/错误无关。这是为了使项目代码朝着同一方向发展。构建一套软件通常有很多方法，这里是ONNX Runtime团队建议的构建规范。将影响最小化 Scope the impact to minimal如果您想更改某些设置，请尝试将影响范围缩小到本地。If you want to change some settin...翻译 2020-03-08 12:27:42 · 3764 阅读 · 0 评论 -
三、ONNX Runtime添加一个新的execution provider
ONNX Runtime添加一个新的execution providerexecution provider从本质上来讲就是一个针对不同硬件平台的executor，ONNX Runtime目前提供了以下MLAS (Microsoft Linear Algebra Subprograms)NVIDIA CUDAIntel MKL-MLIntel DNNL - subgrap...原创 2020-03-08 12:25:48 · 6404 阅读 · 0 评论 -
onnx模型如何增加或者去除里面node，即修改图方法
有时候我们通过pytorch导出onnx模型，需要修改一下onnx的图结构，怎么修改呢？下面两个Python实例可以提供了修改思路。Changing the graph is easier than recreating it with make_graph, just use append, remove and insert.参考https://github.com/onnx/onnx/i...原创 2020-03-08 12:24:45 · 15531 阅读 · 0 评论 -
二、ONNX Runtime增加新的operator/kernel
翻译来源onnx增加新的operator/kernel可以通过以下3种方式在ONNXRuntime中编写和注册新operator/kernel1. 使用实验性的c API，暂不推荐，因为API还不稳定，可能会有大变动。不需要编译源码 Using the experimental custom op API in the C API (onnxruntime_c_api.h)Note: Th...翻译 2020-02-03 14:56:41 · 3221 阅读 · 1 评论 -
一、ONNX Runtime的设计理念
翻译来源ONNX Runtime的设计理念本文档概述了高性能，跨平台的推理引擎ONNX Runtime的设计理念。ONNX Runtime的主要目标最大化自动地在不同的平台上利用定制的accelerators和runtimes。为定制的accelerators和runtimes提供正确的抽象和运行环境。并且我们把这种抽象称之为executionprovider，它定义并公开了ONNX...翻译 2020-01-31 13:09:08 · 6382 阅读 · 0 评论 -
TensorRT5,TensorRT6不兼容pytorch1.2，1.3，1.4导出的ONNX模型解决方案
错误点使用pytorch1.2,1.3导出的ONNX模型，如下面这个resnet18的代码：import torchimport torch.nn as nnimport mathdummy_input = torch.randn(10, 3, 224, 224, device='cuda')def conv3x3(in_planes, out_planes, strid...原创 2020-01-13 16:27:08 · 9911 阅读 · 7 评论