onnxruntime-gpu打包问题补充

最新推荐文章于 2024-08-30 12:50:37 发布
最新推荐文章于 2024-08-30 12:50:37 发布
阅读量708 收藏 4
点赞数
分类专栏： python 文章标签： python onnx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Remmine/article/details/128974833
版权

一个表情分类的项目，模型用的onnx存储，要用gpu版本打包到不同显卡的Windows电脑用；

主要步骤跟着大佬的这篇走：

https://blog.youkuaiyun.com/qq_44932092/article/details/127756016

我在这之外额外遇到两个问题，不知道是不是我一个人的问题，反正记录一下方便以后用；

  1. 首先使用的那台电脑要装好CUDA和CUDNN，不然CUDA要一直报错

  1. 然后装好CUDA和CUDNN后遇到的是这个报错

我是把onnxruntime版本回退到1.11.1，然后在上面那篇博客中，把onnxruntime和onnxruntime_gpu.dist两个文件夹复制到打包目录的时候，没有覆盖掉报错的那个文件；然后就跑通了；

  1. 最后是一个缺少dll的问题

https://blog.youkuaiyun.com/qq_44224801/article/details/125525721

最后就成功打包并在别的电脑跑通了；感谢大佬们的分享

onnxruntime-gpu用pyinstaller打包报错找不到CUDA解决方案
认真努力，做一只会飞的毛毛虫。
01-13 9236
问题由来：在将深度学习模型转为onnx格式后，由于不需要依赖之前框架环境，仅仅需要由onnxruntime-gpu或onnxruntime即可运行，因此用pyinstaller打包将更加方便。但在实际打包过程中发现，CPU版本的onnxruntime通过pyinstaller打包后生成的exe第三方可以顺利调用，而GPU版本的onnxruntime-gpu则会出现找不到CUDA报错的情况，但实际上电脑已经安装了对应版本的CUDA(如10.1、10.2)。 问题分析：起初博主以为是anaconda环境管理.
PyTorch RuntimeError: 无可用的CUDA GPU 解决方案
CyberLancer的博客
09-07 2326
首先，您应该检查CUDA驱动程序和CUDA工具包的安装情况，确保它们与您的系统兼容。如果您的计算机确实没有GPU，您可以考虑在没有CUDA加速的情况下继续使用PyTorch。因此，如果您有可用的CUDA设备，使用GPU进行加速仍然是更好的选择。如果CUDA驱动程序或CUDA工具包未正确安装，您需要根据您的系统和CUDA版本重新安装它们。如果您的系统中没有可用的CUDA设备，您可以通过将PyTorch切换到CPU模式来解决此问题。首先，您需要确保您的系统上安装了正确的CUDA驱动程序和CUDA工具包。
pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案
m0_55575697的博客
07-04 2529
会在这个目录中查找自定义的钩子（hooks）文件。钩子文件用于在打包过程中处理一些特殊的依赖或行为。2、电脑上已经安装与onnxruntime-gpu对应版本的cuda和cudnn，并加入了环境变量。使用onnxruntime-gpu完成了深度学习模型部署，但在打包时发生了报错：找不到CUDA。--additional-hooks-dir=.：指定一个额外的目录，--onefile：将所有的文件和依赖打包成一个单独的可执行文件。-w main.py：指定需要打包的py文件，不带控制台窗口打包。
打包onnx
weixin_38241876的博客
12-11 401
def pth2onnx(arch='mobilenetV2', version='2.2', epoch=20): torch.set_grad_enabled(False) save_prefix = 'checkpoint/onnx/'+version+'/' if not os.path.exists(save_prefix): os.makedirs(save_prefix) checkpoint = torch.load('./checkpoi.
onnxruntime-gpu用pyinstaller打包报错找不到CUDA
wdmzlyq的专栏
06-19 1510
onnxruntime-gpu用pyinstaller
pytorch下yolov8打包onnx模型并使用NMS对数据清洗（最后有完整代码）
qq_64809150的博客
07-15 1394
本文对该模型进onnx打包并在pytorch环境下运行。打包是我为了部署方便，也可以不打包，本文重点在于非极大值抑制对锚框进行清洗，文章末尾有完整代码
pyinstaller打包exe同时封装onnx模型文件
qq_38429284的博客
08-16 595
写了一个简单的界面程序，需要加载一个onnx模型进行推理，为了方便交付使用，使用pyinstaller进行打包。
onnxruntime-gpu-1.8.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.8.0-cp36-cp36m-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定版本，适用于 GPU 加速，并且是为 Python 3.6 编译的。ONNX (Open Neural Network Exchange) Runtime 是...
onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，版本为1.18.0，适用于Python 3.8，并且是为Linux上的ARM架构（aarch64）设计的。ONNX（Open Neural ...
onnxruntime-gpu-1.6.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.6.0-cp36-cp36m-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，适用于Python 3.6环境，并且是为Linux的aarch64（ARM架构）平台设计的。ONNX（Open Neural Network ...
onnxruntime-gpu-1.9.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.9.0-cp36-cp36m-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定GPU优化版本，适用于Linux架构的AARCH64（即ARM64）处理器。ONNX Runtime 是一个高性能的推理引擎，支持...
onnxruntime-1.11.1-cp310-cp310-linux_armv7l.whl.zip
06-10
onnxruntime-1.11.1-cp310-cp310-linux_armv7l.whl.zip
onnxruntime-gpu-1.15.1-cp38-cp38-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.15.1-cp38-cp38-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定版本，适用于 GPU 加速，并且是为基于 ARM 架构的 Linux 系统（如 NVIDIA Jetson 平台）编译的。...
pyinstaller打包pytorch、opencv、onnxruntime-gup、pyqt5成exe可移植
m0_51433070的博客
11-28 2278
目录。
深度学习中的ONNX模型部署（打包为exe独立运行）详细教程
热门推荐
思绪无限的博客
08-30 1万+
在本教程中，详细介绍了如何将ONNX模型部署为独立的可执行文件。从环境准备开始，介绍了ONNX Runtime及其GPU版本的安装，确定CUDA和cuDNN版本的兼容性。给出了使用ONNX Runtime加载和推理模型，处理输入和输出数据的脚本示例。最后使用PyInstaller将推理脚本打包为可执行文件，并提供了应对常见错误的解决方案。
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 2781
onnxruntime-gpu无法使用。
Failed to create CUDAExecutionProvider 使用onnxruntime-gpu未成功调用gpu
大雾的小屋的博客
01-08 8727
最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。
pyinstaller 在ubuntu打包出错的解决方案！
qq_42411587的博客
10-09 918
目录任务描述错误描述解决方法总结 任务描述 使用pyinstaller，将Python程序在Ubuntu平台打包成ELF可执行程序。 使用了Pyshark包（错误都是围绕这个包的报错） ubuntu 18 python 3.6 错误描述 对于打包完成的程序，运行后显示这样的错误： Traceback (most recent call last): File "xxx.py", line 51, in udp1 = udp() File "xxx.py", line 19, in udp for pkt
Docker部署onnxruntime-gpu环境
weixin_42939529的博客
12-18 5165
Docker部署onnxruntime-gpu环境 新开发的深度学习模型需要通过docker部署到服务器上，由于只使用了onnx进行模型推理，为了减少镜像大小，准备不使用pytorch或tensorflow官方提供的带别的框架的镜像，寻找有onnxruntime-gpu的镜像。在此记录整个过程。 寻找官方镜像和考虑从cuda镜像安装onnxruntime 先在onnx官方网站上逛了一圈，似乎不支持通过docker安装，可能是考虑到一般来说开发者是用别的框架转onnx吧，看了下文档里面也没有docker安装的
用pytorch部署大模型
最新发布
03-08
<think>好的，用户想了解如何使用PyTorch部署大型模型。首先，我需要回顾一下PyTorch在模型部署方面的常用工具和方法。根据引用[3]，NVIDIA的NIM工具被提及，它是一个预构建的容器工具，可能对部署有帮助。不过用户的问题更偏向于PyTorch本身的部署方法，所以需要结合PyTorch生态中的组件。 大型模型部署需要考虑几个方面，比如模型优化、分布式推理、内存管理和生产环境集成。PyTorch提供了TorchScript将模型转换为静态图，便于在生产环境中运行。此外，模型并行和流水线并行技术对于处理无法单卡加载的大模型至关重要。例如，使用`torch.distributed`进行分布式推理，或者利用DeepSpeed的推理优化。 另外，内存管理方面，混合精度训练和激活检查点（activation checkpointing）可以减少显存占用。量化也是常用的方法，如动态量化、静态量化和量化感知训练，这些都可以在PyTorch中通过`torch.quantization`模块实现。 生产部署时，可能需要将模型导出为ONNX格式，或者使用TorchServe这样的服务化工具。引用[3]提到的NVIDIA NIM可能是一个补充方案，特别是针对GPU优化。同时，用户提到他们团队使用PyTorch重建分类管道效率很高，这说明他们对PyTorch的易用性有需求，所以部署方案需要兼顾简便性和性能。 还需要考虑模型分割策略，比如将模型不同部分部署到不同设备，或者使用参数服务器。引用[2]提到大型语言模型的参数量庞大，因此模型并行和内存优化是关键。此外，性能评估方面，引用[4]提到的Jaccard指数和计算效率指标可能在部署后用于监控模型表现。 总结步骤可能包括：模型优化（量化、剪枝）、分布式推理设置、内存管理、选择合适的部署工具（如TorchServe、NIM）、以及性能监控。需要确保每个步骤都有PyTorch相应的支持，并引用相关文档或社区实践。</think>使用PyTorch部署大型模型需要结合模型优化、分布式计算和工程化工具。以下是关键步骤和方法的详细说明： ### 1. 模型优化与压缩 **量化（Quantization）**： - 动态量化：运行时自动降低精度（如FP32转INT8） ```python model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 ) ``` - 静态量化：需校准数据集进行参数校准，适合固定输入场景[^2] **剪枝（Pruning）**： ```python pruning_method = torch.nn.utils.prune.l1_unstructured pruning_method.apply(model, name="weight", amount=0.3) ``` ### 2. 分布式推理部署 **模型并行策略**： - **流水线并行**：将模型层拆分到不同设备 ```python from torch.distributed.pipeline.sync import Pipe model = Pipe(model, chunks=4) ``` - **张量并行**：单个运算拆分到多卡，如Megatron-LM实现方式[^3] **内存优化技术**： - 激活检查点（减少显存占用50%+） ```python from torch.utils.checkpoint import checkpoint_sequential output = checkpoint_sequential(model.layers, 4, input_data) ``` ### 3. 生产环境部署方案 **(1) TorchServe部署流程**： ```bash # 打包模型 torch-model-archiver --model-name mymodel --version 1.0 --serialized-file model.pth --handler custom_handler.py # 启动服务 torchserve --start --ncs --model-store model_store --models mymodel.mar ``` **(2) ONNX Runtime集成**： ```python torch.onnx.export(model, input_sample, "model.onnx") import onnxruntime ort_session = onnxruntime.InferenceSession("model.onnx") ``` **(3) NVIDIA NIM容器部署**（适合GPU集群）： ```bash docker run --gpus all -it --rm -p 8000:8000 nvcr.io/nim/llama3:latest ``` 支持自动扩缩容和负载均衡[^3] ### 4. 性能监控与调优 - 使用PyTorch Profiler分析计算瓶颈： ```python with torch.profiler.profile( activities=[torch.profiler.ProfilerActivity.CUDA] ) as prof: model(inputs) print(prof.key_averages().table()) ``` - 参考Jaccard Index等指标评估模型有效性[^4] ### 5. 实际部署建议 1. 使用`torch.compile()`进行图优化（PyTorch 2.0+特性） 2. 对超大型模型使用Zero-Inference优化技术 3. 采用渐进式加载策略处理内存约束 4. 部署后使用Prometheus+Grafana监控推理延迟和资源利用率
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值