lhyyhlfornew的博客

官网：CUDA - onnxruntime

pytorch模型转成onnx时会产生很多意想不到的错误，然而对onnx模型进行Debug是非常麻烦的事，往往采用可视化onnx模型然后找到报错节点之后确定报错节点在源码中的错误位置的方法进行Debug，然而将可视化的onnx图与源代码对应起来可不是一件简单的事，本文主要记录pytorch算子与可视化的onnx节点的对应关系以方便对onnx节点在源代码中进行溯源，本文中的onnx模型使用Netron软件进行可视化，记录会随时补充。1.onnx中Gather节点对应pytorch中对tensor的索引操作

onnx模型运行时遇到Reshape节点报错如下：很明显这个是reshape操作的错误，在pytorch中转成onnx对应是Reshape节点的是view()、transpose()等方法，用Netron可视化onnx模型定位到问题节点，然后找到问题节点在源代码中的位置，复现这个报错代码如下：import torcha=torch.randn(250, 1, 1) # a.size=(250, 1, 1)b=a.transpose(0,2).view(1,1,10, 25) # 把a维

最近要使用openvino部署一个深度学习模型，模型主要是使用pytorch进行训练，部署时首先转为onnx模型，然后在将onnx模型转为openvino进行部署，本文就记录一下在onnx模型转openvino时所遇到的坑以及解决办法，未来有遇到新的问题会补充到本文。1：openvino模型不支持动态shape的输入和输出onnx模型转openvino的第一个问题就是openvino不支持输入和输出的shape是动态的，而onnx是支持动态shape的输入和输出，onnx动态shape的设置是tor

onnx模型转换openvino进行部署时首先需要用openvino官方给的优化程序对onnx模型进行优化，之后使用openvino官方API加载优化后的模型如果不报错说明onnx模型转openvino模型成功，就可以编写推理代码然后进行部署。我在使用优化程序转换onnx模型时虽无报错但是在使用openvino官方API加载模型时报错nGraph does not support the following ONNX operations: If，这个错误好像是onnx模型转openvino模型不支持if条