推理引擎TensorRT安装与多线程推理（Python）

已于 2024-10-06 00:06:10 修改
阅读量998 收藏 6
点赞数 10
文章标签： 人工智能 深度学习 ai 推荐算法
于 2024-09-19 14:06:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/heyiqiunet/article/details/142358236
版权

TensorRT 是由 Nvidia 发布的一个机器学习框架，用于在其硬件上运行机器学习推理。它能针对 Nvidia 系列硬件进行优化加速，实现最大程度的利用 GPU 资源，提升推理性能。在训练了神经网络之后，TensorRT 可以对网络进行压缩、优化以及运行时部署，支持当前多种深度学习框架（TensorFlow, Pytrch,Mxnet,Caffe2,Theano, PaddlePaddle）。

以下操作在Linux系统进行（如Ubuntu）

下载安装TensorRT

TensorRT需要和Linux系统版本、CUDA、cuDNN 的版本对应

查看Ubuntu版本

$ lsb_release -a

No LSB modules are available.

Distributor ID: Ubuntu

Description: Ubuntu 22.04.4 LTS

Release: 22.04

Codename: jammy

查看CUDA版本

$ nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver

Copyright (c) 2005-2023 NVIDIA Corporation

Built on Tue_Aug_15_22:02:13_PDT_2023

Cuda compilation tools, release 12.2, V12.2.140

Build cuda_12.2.r12.2/compiler.33191640_0

上面cuda版本为 12.2

Nvidia官网地址：

https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#overview

在这个页面

最低0.47元/天 解锁文章
何宜秋
关注
C++中用TensorRT与多线程进行模型推理
heyiqiunet的博客
10-05 1695
用C++与TensorRT及多线程对模型进行高效推理
LabVIEW集成YOLOv5与TensorRT实现多线程高效推理及工业应用
最新发布
03-30
内容概要：本文详细介绍了将YOLOv5与TensorRT集成到LabVIEW环境中的方法和技术细节，实现了高效的多线程多任务推理。主要内容涵盖模型转换、DLL封装、内存管理、LabVIEW调用配置以及性能优化等方面。文中提供了具体...
Python多线程中使用TensorRT
weixin_39739042的博客
01-13 5006
Python多线程中使用TensorRT加速YOLOPython多线程Threading模块中使用TensorRT遇到的问题以及解决方法1.遇到的问题2.解决方案3.参考代码4.总结 Python多线程Threading模块中使用TensorRT遇到的问题以及解决方法 由于需要在Python程序中并行运行TensorRT，因此使用Threading模块调用TensorRT，但是程序出现了报错。 1.遇到的问题 不改动任何原有TensorRT程序直接在多线程中调用会出现如下报错： ERROR: …/rtSaf
[python]tensorrt安装后测试代码
FL1623863129的博客
02-16 452
2. 如何将PyTorch、TensorFlow模型转换为ONNX。使用TensorRT进行模型优化，并进行初步的推理测试。3. 使用TensorRT优化器进行初步优化。1. ONNX模型格式介绍。将一个简单的PyTorch。模型转换为ONNX格式。
python多线程中使用TensorRT（解决报错：invalid device context - no currently active context? ）
qq_43673118的博客
02-21 1141
报错显示在工作线程中没有建立上下文context，原因是。（3）在进行推理前加上。
python 安装tensorrt
ma_9624的博客
12-10 510
tensorRT是基于CUDA的加速库，安装trnsorrt首先要确保已安装cuda，并知道cuda的版本。检验tensorrt-lean、tensorrt-dispatch是否正确安装。tensorRT安装分三部分：（-cu11：指定cuda版本）检验tensorrt是否正确安装：生成一个记录器。
TensorRT(10):python版本安装
hjxu2016的博客
02-10 1万+
随着TensorRT8.0版本的发布，windows下也正式支持Python版本了，跟紧NVIDIA的步伐，正式总结一份TensorRT-python的使用经验。 一、底层库依赖 在安装TensorRT前，首先需要安装CUDA、CUDNN等NVIDIA的基本库，如何安装，已经老生常谈了，这里不再过多描述。 关于版本的选择，楼主这里： CUDA版本，楼主这里选择的是 cuda11.5 ，具体cuda版本见 https://developer.nvidia.com/cuda-toolkit-archive，可自
C/C++ TensorRT引擎多线程推理多个rtsp流并显示或保存
highoooo的博客
11-24 5021
文章目录主要思路一、超参数和常量二、简易的WrapData类三、opencv获取rtsp流四、.engine 推理部分五、主函数流程 主要思路 每个thread负责一个rtsp流，主线程里定义WrapData类型的消息队列（目的是包含frame和对应的rtsp信息），传到每个线程里面去通过opencv获取frame，将frame和rtsp信息包装到WrapData后push到队列中，主函数中捕捉到队列长度大于1则进行.front()推理并在推理结束后.pop() 一、超参数和常量 #define NMS_
TensorRT python多进程推理踩坑（csdn）————程序.pdf
12-04
本篇文章主要探讨了在TensorRT中实现多线程推理以及如何在Python的multiprocessing库下正确运行多进程推理的注意事项。 1. **TensorRT多线程推理** 在多线程环境下，TensorRT需要在每个线程内部创建独立的上下文...
基于多线程异步操作rknn模型对Yolov5进行推理Python源码+文档说明.zip
02-06
开六个线程推理本地视频能达到75帧左右，受限于摄像头最高帧率为25帧，暂时没测试到实时目标检测能处理的最高帧率 补充 多线程下CPU, NPU占用较高, 核心温度相应增高, 请做好散热。 使用摄像头做实时目标检测的时候...
Tensorrt安装及使用（python版本）
热门推荐
stivory的博客
01-25 2万+
Window使用zip安装后使用 TensorrtRT-8.6.1.6/bin/trtexec.exe 文件生成 tensorrt 模型文件。首先选择和本机nVidia驱动、cuda版本、cudnn版本匹配的Tensorrt版本。首先选择和本机nVidia驱动、cuda版本、cudnn版本匹配的Tensorrt版本。我这边的使用的流程是：pytorch -> onnx -> tensorrt。我使用的：cuda版本：11.7；我使用的：cuda版本：11.4；打印转换后的tensorrt的模型的信息。
用生动的案例一步步带你学会python多线程模块
清风Python
10-22 346
鱼和熊掌不可兼得 鱼，我所欲也，熊掌，亦我所欲也，二者不可得兼，舍鱼而取熊掌者也。 从6月开始写公众号，连着四个月一直尽量保证一周五更，结果整天熬夜搞的身体素质骤降。十一休假决定暂时将公众号放放，好好休息休息恢复运动。然后…连着几天夜跑，本已渐入佳境，可晚上灯光不好跑步把脚崴了，只能开始躺在床上胡吃海塞的颓废生活。 节后项目上一些事情比较忙，同事说的好，本应处在被酒色掏空身体的年纪，却硬生生让...
【TensorRT】C++多线程异步推理/部署常用代码
种一棵树最好的时间是十年前，其次是现在
10-29 4195
（因为消费者不止一个，可能有多个网络进行推理，要把推理结果送还到图片接收处）。这样多个推理就可以做成异步模式。实际上是调用逻辑与推理逻辑分离，简化了接口，优化了性能。当出现生产者生产太快，而消费太慢时：会让图片发生堆积，一张图片可能有2MB，如果长期运行，就会发现，程序可能在某一刻发生崩溃（内存消耗殆尽）
TensorRT多线程下运行
liufang1991的专栏
06-21 4846
TensorRT多线程背景 TensorRT 在主线程速度比 tensorflow 快了很多，30-60倍的提升。 TensorRT 官方多线程的demo，是一个显卡启动一个线程 实际生产环境中用的thrift RPC，每个连接都是用 threading.Thread 跑的，也就是需要在多线程下运行 解决方案 threading.lock加锁可以在多线程下限制单线程可以运行起来，平均一次计算耗时4.5ms左右，表现比单线程慢了2-3倍，但是比tensorflow要快了很多 coding如下，也可以用th
python多线程编程
测试人的成长日志
07-19 426
目前还在学习中，记录一下网友的分享，感谢分享，稍后学习明白些再整理心得。
python多线程推理视频
null
07-31 388
【代码】python多线程推理视频。
TensorRT(GIE)(高性能深度学习推理C++框架)
hxxjxw的博客
10-15 794
TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理 我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的 TensorRT项目立项的时候名字叫做GPU Inference Engi...
windows上安装Tensorrt（python）
free_luojing的博客
07-04 1518
TensorRT
python使用TensorRT报错，多线程或多进程中使用问题
qq_44224801的博客
09-05 446
python使用TensorRT报错，Cuda Runtime问题
python多线程推理alexnet模型
07-28
在 Python 中使用多线程进行 AlexNet 模型的推理可以提高推理速度。下面是一个使用多线程进行 AlexNet 模型推理的示例代码： ```python import torch import torchvision.models as models from PIL import Image from torchvision import transforms import threading # 加载预训练的 AlexNet 模型 model = models.alexnet(pretrained=True) model.eval() # 定义图像预处理的变换 preprocess = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 定义推理函数 def inference(image_path): # 加载图像并进行预处理 image = Image.open(image_path) image = preprocess(image) image = torch.unsqueeze(image, 0) # 执行模型推理 with torch.no_grad(): output = model(image) # 获取预测结果 _, predicted_idx = torch.max(output, 1) labels = open("imagenet_labels.txt").read().splitlines() predicted_label = labels[predicted_idx.item()] print(f"Image: {image_path}, Predicted Label: {predicted_label}") # 创建线程进行并行推理 image_paths = ["image1.jpg", "image2.jpg", "image3.jpg"] threads = [] for path in image_paths: thread = threading.Thread(target=inference, args=(path,)) thread.start() threads.append(thread) # 等待所有线程执行完毕 for thread in threads: thread.join() print("Inference completed.") ``` 在上面的代码中，首先加载了预训练的 AlexNet 模型，并设置为评估模式。然后定义了图像的预处理变换，以及推理函数 `inference()`。在 `inference()` 函数中，首先加载图像并进行预处理，然后通过模型进行推理，最后获取预测结果。 接下来，创建了多个线程，并将每个图像路径传递给对应的线程进行并行推理。通过调用线程的 `start()` 方法启动线程，并将线程对象存储在列表中。最后，使用 `join()` 方法等待所有线程执行完毕。 请确保将代码中的图像路径和标签文件 "imagenet_labels.txt" 替换为实际的路径和文件名。同时，根据实际需求可能需要调整线程数量和其他参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值