快速入门使用tensorRT进行推理

已于 2024-04-02 09:20:12 修改
阅读量1.8k 收藏 23
点赞数 8
分类专栏： 深度学习 TensorRT 文章标签： 人工智能 TensorRT
于 2024-04-01 23:54:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ueke1/article/details/137250892
版权
本文介绍了如何使用PyTorch构建一个简单的模型，并将其转换为ONNX格式，然后利用TensorRT进行编译和压测，关注了动态shape设置、模型优化、吞吐量、延迟等关键性能指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参数解释

--onnx     # 指定ONNX model
# build option
# eg: input0:1x3x256x256,input1:1x3x128x128
--minShapes    # 模型输入的最小shape, 可动态
--optShapes    # 模型输入的推荐hape, 可动态
--maxShapes    # 模型输入的最大shape, 可动态

--inputIOFormats=spec    # 以什么样的格式获取值, 默认fp32
--outputIOFormats=spec    # 以什么样的格式输出值, 默认fp32

# build options
--memPoolSize=poolspec    # 分配的最大的内存容量
# eg: --memPoolSize=workspace:1024.5,dlaSRAM:256 单位M
--profillingVerbosity=mode  # 打印消息的详细程度
# eg: --mode ::=layer_names_only|detailed|none(default=layer_names_only)
# 只打印ops name, 详细(会打印ops参数), none(不打印)

--fp16  # 默认default 是否对模型执行fp16加速
--int8  # 默认default 是否对模型执行int8量化
--calib=<file>  # 当执行int8量化时用来标定参数的文件, 如果给的是带QDQ节点的model, 则不用给。如果给的不是QDQ model且没给定calib文件，默认会把dynamic range设置为4, 这时model量化会产生很大误差

--best    # 默认disabled, 是否开启全精度方案来达到最优性能FP32+FP16+INT8 使用三种方案同时运行, 然后选最快的
--saveEngine=<file>  # 保存序列化的engine
--loadEngine=<file>  # 加载engine进行反序列化, infer时用到
# === Build Options ===
--tacticSources=tactics  # 默认所有库都允许使用
# 某些平台使用某些库可能会报错, 且各种lib有各自缺点
# 通过 加上(+), 去掉(-) 指定什么包能用, 什么包不能用: +lib -lib
# eg: --taticSources=-CUDNN,+CUBLAS

# ==== inference Options ====  推理的时候指定
--shapes=spec    # 给推理设置输入tenosr形状(支持动态)
# eg: --shapes=input0:1x3x256x256,input1:1x3x128x128
--loadInputs=spec    # 从文件中加载输入, tensor文件
# eg: --loadInputs=input0:input0.binary,input1:input1.binary
--iterations=N    # 推理至少 运行几次 (默认10次)
--warmUp=N    # 默认200ms, 设置多少毫秒用来热启动, 可以缩减误差
--duration=N    # 默认3s, 运行inference所消耗的最少时间
--sleepTime=N    # 默认0s, inference从开始到计算延迟多少s
--idleTime=N    # 默认0s, 两次infer间隔多少s
--streams=N    # 默认1, 使用多个流来运行推理, 多线程下可能会得到加速
--separateProfileRun    # 默认False, 是否在infer时将profiler和benchmark分开, 做benchmark时设置为True
--buildOnly
最低0.47元/天 解锁文章
tensorrt python版推理代码流程（1）
qq_43585355的博客
11-01 701
tensorrt python版推理代码流程（1）
使用 TensorRT 加速深度学习推理
大模型
09-21 1317
这是的更新版本. 此版本从 PyTorch 模型开始，而不是 ONNX 模型，将示例应用程序升级为使用 TensorRT 7 ，并将 ResNet-50 分类模型替换为 UNet ，这是一个分段模型。图 1。TensorRT 徽标NVIDIA TensorRT 是一个用于深度学习推理的 SDK。TensorRT 提供 api 和解析器来从所有主要的深度学习框架中导入经过训练的模型。然后生成可部署在数据中心、汽车和嵌入式环境中的优化运行时引擎。这篇文章简单介绍了如何使用 TensorRT。
深度学习模型部署(八)TensorRT完整推理流程
qq_45983373的博客
03-13 2682
TensorRT的完整workflow
TensorRT 加速推理实践
Michael是个半路程序员
01-11 1247
本文环境 python 3.11.5 TensorRT 8.6.1。
使用 TensorRT 和 Python 实现高性能图像推理服务器
最新发布
WK785456510的博客
02-06 762
在现代深度学习和计算机视觉应用中，高性能推理是关键。本文将介绍如何使用 TensorRT 和 Python 构建一个高性能的图像推理服务器。该服务器能够接收客户端发送的图像数据，使用 TensorRT 进行推理，并将结果返回给客户端。
使用TensorRT进行加速推理（示例＋代码）
weixin_47151388的博客
07-04 4407
TensorRT 是 NVIDIA 开发的一款高性能深度学习推理引擎，旨在优化神经网络模型并加速其在 NVIDIA GPU 上的推理性能。它支持多种深度学习框架，并提供一系列优化技术，以实现更高的吞吐量和更低的延迟。TensorRT（NVIDIA Tensor Runtime）是由 NVIDIA 开发的一款高性能深度学习推理库，用于在 NVIDIA GPU 上进行高效的深度学习推理。它可以优化深度学习模型并将其部署在生产环境中，以实现低延迟和高吞吐量的推理任务。1.1TensorRT 的主要特点模型优化。
tensorRT---inference
进击的菜鸟
05-21 597
这里主要讲推理，我们关注的基础中的基础对吗 重点提炼： 1.bindings是tensorRT对输入输出张量的描述，bindings = input-tensor + output-tensor。比如input有a，output有b, c, d，那么bindings = [a, b, c, d]，bindings[0] = a，bindings[2] = c。此时看到engine->getBindingDimensions(0)你得知道获取的是什么 2.enqueueV2是异步推理，加入到s
tensorRT推理
IT菜鸟
09-29 2954
一、参考资料 第一步：ubuntu18.04装TensorRT8.0.0.3 + onnx1.8.0 + onnx_tensorrt 第二步：pytorch模型转onnx模型步骤和可能遇到的问题 第三步：onnx模型导入tensorrt生成优化engine + 在GPU上推理 Additional TensorRT resources 深入理解 TensorRT (1) TensorRT Python API 详解 二、重要说明 对于每一个输入张量与输出张量，都需要分配两块资源，分别是主机内存（Host）
使用TensorRT加速深度学习推理
ayiya_Oese的博客
12-31 2874
使用TensorRT加速深度学习推理官方链接知乎前言简单的TensorRT示例将预先训练的图像分割PyTorch模型转换为ONNX 官方链接 入门博客 开发者指南 代码示例 github 预训练模型 知乎 高性能深度学习支持引擎实战——TensorRT TensorRT部署深度学习模型 深度学习算法优化系列十七 | TensorRT介绍，安装及如何使用？ 前言 NVIDIA TensorRT是用于深度学习推理的SDK。TensorRT提供API和解析器以从所有主要的深度学习框架中导入经过训练的模型。然后
TensorRT 推理 (onnx-＞engine)
红叶谷 wsp_1138886114的博客
11-13 7607
TensorRT 推理 (onnx->engine)【Win10+cuda11.0+cudnn8.2.1+TensorRT8.2.5.1】
TensorRT推理加速
05-07
TensorRT Python API的使用，8bits量化，语义分割方面的应用。
TensorRT 实现深度网络模型推理加速
01-14
通过本文档将会了解到深度学习的应用场景，常规的部署方法及带来的挑战，基于这些挑战 NVIDIA 给出的高效解决方案 TensorRT 的介绍，性能及案例分享。
trt c++ 正向推理入门，包含tensorrt6和7的示例
11-08
本教程将针对C++接口，介绍如何使用TensorRT进行正向推理，包括TensorRT 6和7两个版本的示例。 一、TensorRT简介 TensorRT的核心功能是对训练好的神经网络模型进行优化，生成高效的执行计划，以实现推理过程中的...
基于TensorRT的C++高性能推理库源码+使用说明(支持RT-DETR，Yolov5v7v8等).zip
01-09
基于TensorRT的C++高性能推理库源码+使用说明(支持RT-DETR，Yolov5、v7、v8、yoloX、OSTrack、LightTrack等) Highlights - 支持全景驾驶感知 YOLOPv2，目标检测 RT-DETR，Yolo 5/X/7/8 ，多目标跟踪 Bytetrack，单...
TensorRT加速推理入门-1：Pytorch转ONNX
用于记录
01-04 1675
PyTorch模型转ONNX模型
TensorRT-LLM保姆级教程-快速入门
2401_86435672的博客
09-28 1392
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。此外，它还包括一个用于与 NVIDIA Triton 推理服务集成的后端；同时， 使用 TensorRT-LLM 构建的模型可以使用使用张量并行和流水线并行在单 GPU 或者多机多 GPU 上执行。
tensorrt推理过程
c15901088098的博客
08-26 570
tensorrt推理过程：首先是准备模型，需要定义logger，创建接口实例，加载模型文件并用接口实例反序列化，之后执行一下上下文；建立输入输出buffer，并在cuda上建立对应内存，把数据拷贝到GPU，执行同步或异步推理，把cuda输出拷贝到CPU，然后就可以进行后处理了。
使用TensorRT优化部署模型-推理
weixin_53609418的博客
10-17 427
这里需要获取到m_context模型的输入维度，m_context->getBindingDimensions(0), 修改input_dims.d[0]的维度值，修改为构建模型的推理的KMIN和KMAX之间都可以(batchsize)，最后设置推理时input的大小。该方法通常在模型加载并准备好后调用，允许在不阻塞主机线程的情况下进行推理。在构建模型时设置了DLA，在推理的时候就无需再次声明，模型在推理的时候会自动按照构建时的dlacore来推理模型。这行代码用来获取模型的推理结果的。
tensorrt推理代码
01-17
### TensorRT 模型推理 示例代码 对于TensorRT中的模型推理过程，可以通过Python接口实现。下面是一个使用TensorRT进行MNIST数据集推理的简化版本示例[^1]： ```python import tensorrt as trt import numpy as np import pycuda.driver as cuda import pycuda.autoinit def allocate_buffers(engine): inputs = [] outputs = [] bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) # Allocate host and device buffers host_mem = cuda.pagelocked_empty(size, dtype) device_mem = cuda.mem_alloc(host_mem.nbytes) # Append the device buffer to device bindings. bindings.append(int(device_mem)) # Append to the appropriate list. if engine.binding_is_input(binding): inputs.append({'host': host_mem, 'device': device_mem}) else: outputs.append({'host': host_mem, 'device': device_mem}) return inputs, outputs, bindings, stream def do_inference(context, bindings, inputs, outputs, stream, batch_size=1): # Transfer input data to the GPU. [cuda.memcpy_htod_async(inp['device'], inp['host'], stream) for inp in inputs] # Run inference. context.execute_async(batch_size=batch_size, bindings=bindings, stream_handle=stream.handle) # Transfer predictions back from the GPU. [cuda.memcpy_dtoh_async(out['host'], out['device'], stream) for out in outputs] # Synchronize the stream stream.synchronize() return [out['host'] for out in outputs] # Load your previously created TensorRT engine file here (omitted) with open("mnist_engine.trt", "rb") as f, trt.Runtime(TRT_LOGGER) as runtime: engine = runtime.deserialize_cuda_engine(f.read()) context = engine.create_execution_context() inputs, outputs, bindings, stream = allocate_buffers(engine) input_data = np.random.rand(1, 1, 28, 28).astype(np.float32) # Replace with actual MNIST image preprocessing code np.copyto(inputs[0]['host'], input_data.ravel()) trt_outputs = do_inference(context, bindings=bindings, inputs=inputs, outputs=outputs, stream=stream)[0].reshape(-1) print(trt_outputs.argmax()) # Print predicted digit class index ``` 此段代码展示了如何创建输入输出缓冲区、执行实际推断以及处理结果的过程。 为了提升性能，在遇到吞吐量受限于排队时间和GPU计算时间不稳定的警告时，可以根据具体情况进行调整，比如尝试`--useCudaGraph`选项或锁定GPU时钟频率等措施来优化性能表现[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值