大致步骤可参考:https://blog.youkuaiyun.com/weixin_42795611/article/details/107338541
ONNX Runtime(ORT) C++ Windows 深度学习模型部署简易教程_onnxruntime windows安装-优快云博客
最后一步将onnxruntime.dll 加入release文件夹要注意,如果要使用cuda/tensorrt最好把所有dll都放到这个文件夹下。要不然需要配置路径。
主要注意cuda和cudnn版本问题。我的是cuda12.x +cudnn8.x。按照表可以选择1.17.x和1.18.0.
下载地址:https://github.com/microsoft/onnxruntime/releases
一开始安装了gpu-1.17.1。出现 E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。" when trying to load onnxruntime_providers_cuda.dll等错误。
将所缺dll放到指定文件夹下还是报错。换了gpu-cuda12.1-1.8.1之后问题解决。
onnxruntime cuda版本使用时出现的错误汇总_onnxruntime::providerlibrary::get [onnxruntimeerro-优快云博客