ONNX runtime指定GPU

最新推荐文章于 2024-12-16 10:02:46 发布
最新推荐文章于 2024-12-16 10:02:46 发布
阅读量1.2w 收藏 13
点赞数 4
分类专栏： 算法 文章标签： 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41449637/article/details/116486847
版权

资料参考：链接

 self.onnx_session = onnxruntime.InferenceSession(onnx_path)
 self.onnx_session.set_providers(['CUDAExecutionProvider'], [ {'device_id': 1}])

在onnx_session.set_providers中设置即可

onnxruntime_gpu 运行时很慢， 还是用cpu的解决方案
DeepCBW的博客
04-17 255
Providers: ['CUDAExecutionProvider', 'CPUExecutionProvider']输出是这个的时候，才会调用；一般是 cuda和cudnn没装好。
模型的并行推理
重剑无锋博客
05-09 3270
DataParallel可以在单个机器上的多个GPU上并行运行模型。它会自动将模型划分为多个块，每个块分别在不同的GPU上进行计算。使用DataParallel可以很容易地实现GPU多卡推理，只需要在模型前面加上DataParallel即可。另外，还可以通过使用ONNX Runtime等高性能推理引擎来实现GPU多卡推理。DistributedDataParallel则可以在多台机器上的多个GPU上并行运行模型。ONNX模型可以通过使用深度学习框架的多卡并行化功能来实现GPU多卡推理。
onnxruntime_gpu-1.10.0-cp36-cp36m-linux_aarch64.whl
01-04
arm、 jetson nano 可用的 onnxruntime-gpu
onnxruntime指定gpu设备
jiangwei741的博客
11-10 2002
https://github.com/cap-ntu/ML-Model-CI/issues/37
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 5万+
onnx模型部署环境创建
vs2022配置onnxruntime—gpu
weixin_43929198的博客
09-20 3131
这里采用的是新版版本对应很重要，尝了一下onnxruntime-gpu最新版1.60搭配cuda1.7，文末给测试搭建是否成功的简易代码。
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
onnxruntime-gpu-1.5.2-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.5.2-cp36-cp36m-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，适用于Python 3.6环境，并且是为Linux的aarch64（ARM架构）平台设计的。ONNX（Open Neural Network ...
onnxruntime-win-x64-gpu-1.18.0.zip
06-10
这个“onnxruntime-win-x64-gpu-1.18.0.zip”压缩包包含了针对Windows 64位平台的GPU优化版ONNX Runtime库，版本为1.18.0。它特别设计用来利用GPU的并行计算能力加速深度学习模型的推理过程。 首先，让我们详细了解...
onnxruntime-linux-x64-gpu-1.16.2.tgz
11-17
此“onnxruntime-linux-x64-gpu-1.16.2.tgz”压缩包包含了针对Linux平台上x64架构的ONNX Runtime库，特别是针对GPU加速的版本。这个库不仅包括了必要的动态链接库（.so文件），还提供了头文件（.h文件）以便开发者在...
onnxruntime-win-x64-gpu-1.17.1.zip
12-20
文件标题为“onnxruntime-win-x64-gpu-1.17.1.zip”，这个名字暗示了几个关键信息点：首先，“onnxruntime”指的是这个文件是一个ONNX运行时的程序包；其次，“win-x64”表明该程序包是为64位Windows操作系统设计的...
onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态
CaiDou的博客
09-02 1万+
onnx模型作为中间模型，相较于pytorch直接推理，是有加速度效果的，且推理代码简单，不需要load各种网络。最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。查了一些别人的文章发现很多人都说onnxruntime推理没法像pytorch那样指定GPU,CPU,只能卸载一个GPU用CPU，卸载CPU用GPU。个人感觉不应该是这样的，点进去源码一看，明明有配置CPU,GPU的参数，而且很简单。
使用 onnxruntime-gpu 进行推理，运行时间久显存逐渐递增无法减少
xiao_ling_yun的博客
06-26 3063
将onnx模型部署为接口后，使用 onnxruntime-gpu 进行持续推理，运行时间久显存逐渐递增无法减少
ONNXRuntime (Python) GPU 部署配置记录
豆芽菜
03-01 1万+
0. 前言 最近偶尔捣鼓了一下onnxruntime-gpu(python版本)的服务端部署，于是打算简单记录一下一些关键步骤，免得以后忘了。确实，有些时候我们并不全是需要把模型转成MNN/ncnn/TNN后走移动端部署那套，服务端的部署也是个很重要的场景。比较常用的服务端部署方案包括tensorrt、onnxruntime-gpu等等。onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和o..
onnxruntime同时加载两个模型GPU的困惑
weixin_40970506的博客
04-02 7371
两个模型都是batch_size=8 GPU原始使用量： 1、初始化模型一之后： 2、初始化模型二之后： 3、模型一推理一次8张图片之后： /4、模型一再推理一次之后： 一下子占完了，后面再多次推理没问题。 **疑惑的地方，为什么第二次推理还要增加gpu的使用量，第一次运行按理说已经申请了内存啊** **？？？？？？** 5、模型二开始推理，就报不足，因为要申请gpu内存，模型一占却第二次...
如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）
黎国溥
09-10 8304
在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。
onnxruntime-gpu 使用和配置
WGS.
12-16 1181
onnxruntime-gpu 使用和配置
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 1万+
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime调用GPU
最新发布
01-03
### 配置和使用 ONNXRuntime 调用 GPU 进行推理加速 为了利用 GPU 来加速模型推理过程，需要安装支持 GPU 的 ONNX Runtime 版本 `onnxruntime-gpu` 并确保环境已正确设置。 #### 安装 onnxruntime-gpu 首先，通过...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值