ONNX Runtime gpu版本安装

已于 2024-12-30 23:24:51 修改
阅读量2k 收藏 3
点赞数 4
文章标签： 深度学习 人工智能
于 2024-12-30 23:20:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sslfk/article/details/144836450
版权
【环境搭建： CUDA Version: 12.3 】onnxruntime-gpu安装 CUDA Version: 12.3
dubochao_xinxi的博客
08-04 2494
这篇博客详细介绍了如何在 Ubuntu 16.04 环境下搭建环境，并进行 ONNX 模型的部署。
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)
2401_84008985的博客
04-13 2127
【代码】【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
ONNX Runtime 与 CUDA、cuDNN 的版本对应
old_power的博客
02-19 1164
ONNX Runtime 与 CUDA、cuDNN 的版本对应关系是深度学习模型部署中的关键点，确保版本兼容性可以避免运行时错误并优化性能。以下是详细的版本对应关系及注意事项：
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 2659
onnxruntime-gpu无法使用。
【sot_onnx】win10 配置 onnxruntime
weixin_41449637的博客
02-24 1830
下载onnxruntime包,onnxruntime-win-x64-gpu-1.6.0.zip https://github.com/microsoft/onnxruntime/releases 下载vs2019 https://support.microsoft.com/en-us/topic/the-latest-supported-visual-c-downloads-2647da03-1eea-4433-9aff-95f26a218cc0 新建项目，添加include和lib文件目
onnxruntime-gpu 如何跑起来
最新发布
林宋的搬砖流水账
02-19 257
onnx转换的时候不需要特殊指定，infer阶段指定CUDAExecutionProvider即可实现gpu 推理，如果没有送到gpu 上，需要修改路径。输出结果是：==============测试是否使用的gpu。
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 5万+
onnx模型部署环境创建
【onnx 模型推理加速】如何验证 onnxruntime-gpu 版本 安装成功
赖德发的博客
04-21 5136
首先安装gpu 版本的onnx 包。
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
yangyu0515的博客
04-28 4280
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
手动build的onnxruntime_gpu-1.12.0-cp38-cp38-linux_aarch64.whl
05-25
自己在jetpack5.0.1版本的nx上build的onnx版本，不是正式版本，可能会在一些环境下出问题。理论上说jetson系列应该都可以安装运行，前提是cuda11.4（使用tensorrt的话需要tensorrt8.4）
onnxruntime-gpu-1.7.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
适用JetPack 4.4 / 4.4.1 / 4.5 / 4.5.1 / 4.6 / 4.6.1，jetson自带的python3.6环境，请勿升级jetson系统默认python3版本
onnxruntime gpu
05-31
在本案例中，提供的压缩包“onnxruntime-win-x64-gpu-1.11.1”包含了Windows 64位系统下，针对GPU加速的ONNX Runtime库。 首先，让我们深入了解ONNX（Open Neural Network Exchange）和ONNX Runtime。ONNX是一种...
onnxruntime-gpu-1.9.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.9.0-cp36-cp36m-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定GPU优化版本，适用于Linux架构的AARCH64（即ARM64）处理器。ONNX Runtime 是一个高性能的推理引擎，支持...
onnxruntime 1.3版本
11-14
这个版本的库文件名为"onnxruntime-linux-x64-gpu-1.3.0"，表明它是为Linux平台的64位系统设计，且包含了GPU支持。 使用ONNX Runtime 1.3时，模型的加载和推理可以通过ONNX Runtime API来实现。开发者可以使用C++或...
onnxruntime-gpu-1.8.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.8.0-cp36-cp36m-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定版本，适用于 GPU 加速，并且是为 Python 3.6 编译的。ONNX (Open Neural Network Exchange) Runtime 是...
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(2)
2401_83703866的博客
04-09 1789
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 1万+
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime-gpu
01-07
### ONNX Runtime GPU 安装 对于 Windows 10 用户，在安装 ONNX Runtime GPU 版本时，需先准备好必要的开发环境。这包括但不限于 CUDA 和 cuDNN 的配置以及 CMake 工具的安装[^4]。 #### 准备工作 - **CUDA/CuDNN**: 需要下载并安装与目标平台相匹配版本的 CUDA Toolkit 和 cuDNN 库。 - **CMake**: 下载最新稳定版 CMake 并完成安装过程。 - **Visual Studio (VS)**: 推荐使用 VS2019 或更高版本来构建 ONNX Runtime 源码。 #### 获取源码 访问官方 GitHub 仓库获取 `onnxruntime` 项目的源代码文件，确保选择了合适的分支或标签对应所需的版本号（如 v1.15.0）。 #### 编译流程 利用上述准备好的工具链按照文档指引逐步编译项目直至成功生成可执行程序及其依赖库文件。具体命令如下所示： ```bash git clone https://github.com/microsoft/onnxruntime.git cd onnxruntime mkdir build && cd build cmake .. -A x64 -Donnxruntime_USE_CUDA=ON msbuild ALL_BUILD.vcxproj /p:Configuration=Release ``` --- ### 使用方法概述 一旦完成了 ONNX Runtime GPU 的安装部署，则可以通过设置相应的执行提供者参数让模型推理任务调度至 GPU 设备上运行。例如，在 Python API 中可通过指定 `providers=['CUDAExecutionProvider']` 来启用此功能[^3]。 ```python import onnxruntime as ort sess_options = ort.SessionOptions() session = ort.InferenceSession("model.onnx", sess_options, providers=['CUDAExecutionProvider']) ``` --- ### 性能优化策略 为了进一步提高基于 ONNX Runtime 实现的应用程序性能表现，特别是在处理大规模数据集或者复杂度较高的神经网络结构时，考虑采用以下几种方式来进行针对性调整: - 对于特定硬件架构的支持方面，特别是像 aarch64 这样的 ARM64 架构，已经做了专门适配以适应嵌入式设备的需求，从而更好地发挥其潜力[^2]。 - 利用 GPU 提供的强大浮点运算能力和高带宽内存优势加速计算密集型操作，比如卷积层中的矩阵乘法等[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值