tensorRT--- 动态shape

最新推荐文章于 2024-07-25 10:59:02 发布
原创 最新推荐文章于 2024-07-25 10:59:02 发布
· 803 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c++ #开发语言

本文主要探讨了TensorRT中动态shape的概念，强调在编译时指定动态范围[L-H]，在推理过程中允许形状值在L到H之间变化，从而实现更灵活的模型部署。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

1. OptimizationProfile 是一个优化配置文件，用来指定输入的 shape 可以变换的范围的，不要被优化两个字蒙蔽了双眼
2. 如果 onnx 的输入某个维度是 -1 ，表示该维度动态，否则表示该维度是明确的，明确维度的 minDims , optDims , maxDims 一定是一样的

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

最低0.47元/天 解锁文章
C++&TensorRT | 推理时动态shape
ASKCOS博客
12-27 1036
2.1.2. 在运行时，向engine请求绑定维度会返回用于构建网络的相同维度。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字。动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L
LLM动态Shape实现原理与核心技术
ZJQ的博客
03-26 115
LLM动态Shape实现原理与核心技术 1. **动态Shape核心原理** 2. **实现方法与关键技术** 3. **示例：vLLM处理动态长度输入** 4. **动态Shape vs 静态Shape对比** 5. **性能优化案例** 总结 `SamplingParams` 是什么 常见参数及作用 使用示例
TensorRT 系列 （2）动态shape
洪流之源
05-29 2098
TensorRT支持输入动态shape的推理，在编译模型时可以指定shape的动态范围为[L, H]，推理时允许L <= shape <= H，输入动态shape可通过createOptimizationProfile优化配置文件，来指定输入的shape可以变换的范围，当然也可以通过ONNX导出模型时进行指定，本次只演示前一种。 示例代码： // tensorRT include #include <NvInfer.h> #include <NvInferRuntime
tensorRT模型推理时动态shape
Rolandxxx的博客
11-05 2267
和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。
8.TensorRT中文版开发教程-----如何在TensorRT中使用动态形状(Dynamic Shapes)
热门推荐
专注于人工智能领域的小何尚
05-02 1万+
在TensorRT中使用动态形状(Dynamic Shapes) 点击此处加入NVIDIA开发者计划 动态形状(Dynamic Shapes) 是延迟指定部分或全部张量维度直到运行时的能力。动态形状可以通过 C++ 和 Python 接口使用。 以下部分提供了更详细的信息；但是，这里概述了构建具有动态形状的引擎的步骤： 1.网络定义不得具有隐式批次维度。 C++ 通过调用创建INetworkDefinition IBuilder::createNetworkV2(1U << s
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
周同学的博客
07-16 3513
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
【tensorrt之dynamic shapes】
hello_dear_you的博客
09-13 5433
1. 背景 Dynamic shapes指的是我们可以在runtime（推理）阶段来指定some或者all输入数据的维度，同时，提供C++和Python两种接口。一般需要指定为dynamic的是batch_size这一个维度，使得我们可以根据自己实际情况动态设置batch，而不需要每次都重新生成engine文件。 2. 总体流程 如何生成及使用支持dynamic shapes的engine的大致步骤如下： 1. 使用最新的接口创建NetworkDefinition对象 截止到t...
TensorRT-7.0.0.11.Ubuntu-16.04.x86_64-gnu.cuda-10.2.cudnn7.6
08-24
- **Dynamic Shape：** 支持输入尺寸动态变化，适应不同输入尺寸的推理请求。 - **Int8 Inference：** 使用8位整数进行推理，以提高效率并保持高精度。 6. **安装和使用TensorRT：** - 首先，解压下载的tar.gz...
TensorRT-使用TensorRT部署mmdetection模型-支持fp16+int8+动态shape-优质部署项目
10-21
动态shape是TensorRT中的一项高级功能，它允许模型在部署时接受不同尺寸的输入，而无需重新构建或重新优化模型。这对于那些需要处理多种输入尺寸的情况非常有用，例如，在视频流处理或实时图像处理任务中。实现动态...
TensorFlow-TensorRT-User-Guide.pdf
11-18
- 提高性能：TensorRT通过自动进行层融合、动态shape优化等技术，显著提高了模型的运行速度。 - 节省资源：优化后的模型通常占用更少的内存，适合资源有限的环境。 - 保持精度：在大多数情况下，TensorRT能够在提高...
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2773
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
TensorRT动态形状（Dynamic Shape）出错，官方demo+自己模型运行时出错
科软搬砖人
07-02 1271
TensorRT 10一个问题
TensorRT笔记八（动态推理）
nanjono的博客
05-03 843
注： 若onnx文件，则onnx文件打开后应该看到动态或-1 模型中若存在reshape类操作，reshape参数必须随动态进行计算（大部分时候这有问题） 除非全卷积网络，大部分时候只需要为batch_size维度设置为动态，其他维度避免设置动态 2.配置profile create: set: 设置, , 的一系列输入尺寸范围 add:添加profile到网络配置中 二、推理阶段 明确当前推理时，使用的数据输入大小
TensorRT基础
没有笔记本用了
02-01 2278
Tensort基础知识
tensorRT 7.0 学习笔记（五）———量化/动态输入shape（c++ api）
qq_27582707的博客
03-22 3001
1.int8 量化 首先需要为 Ibuilder 设置校准器（caliborator）主要作用就是通过一定的算法把每层的weights 和输出tensor 映射到 int范围，TRT提供了以下几种校准器： 需要在继承其中之一后实现 getBatch()方法，然后调用： 为builder设置校准器。 同时 实现 writeCalibrationCache()andreadCalibrationCache()缓存/载入校准表 builder内部的工作原理： 1.调用 getBa...
浅谈MindSpore的动态Shape
Kenji_Shinji的博客
06-17 1243
在MindSpore开发过程中，由于动态Shape算子的开发需求，再加上MindSpore的动态Shape也在持续完善，笔者遇到了框架上的一些问题。通过查看源码和相关文档的方式，获得了初步的解决方案和感悟。这篇博客主要是将当时的见闻加以整理，并给出一点点开发建议。此外，当时笔者还做了组内分享，点击“阅读原文”即可获取原文PPT。由于本人刚入职不久，本博客适合于初学者，高手轻喷。1、动态Shape的定义动态Shape，指的是Tensor的Shape依赖于具体的运算，无法提前通过计算得出。具体来说分两种情况：算
深度学习框架中的动态Shape问题
QQ哥的专栏
07-07 2477
深度学习框架中的动态shape问题
tensorflow获取动态shape
ab0902cd的博客
03-31 2623
tf.shape(a)和a.get_shape()比较 相同点：都可以得到tensor a的尺寸 不同点：tf.shape()中a 数据的类型可以是tensor, list, array 　　　　a.get_shape()中a的数据类型只能是tensor,且返回的是一个元组（tuple） 如果需要根据上一层的动态shape计算当前层的shape，该如何做呢 x=tf.placeholder(tf.float32, shape=[None, 227,227,3] ) 但在运行的时候想知道None到
TensorRT-llm
最新发布
04-03
### TensorRT for LLM Implementation and Optimization #### 使用TensorRT优化大语言模型（LLM） NVIDIA 的 TensorRT 是一种高性能深度学习推理库，专为加速神经网络部署而设计。它通过多种方式显著提升大语言模型的性能和效率[^1]。 对于大语言模型的应用场景，TensorRT 提供了专门针对 Transformer 架构的支持，这是当前大多数 LLM 所采用的核心架构之一。具体而言，TensorRT 支持以下功能来实现高效的大规模推理： - **层融合（Layer Fusion）**: TensorRT 能够自动识别并融合多个连续的操作（如 GEMMs 和激活函数），从而减少内存访问次数并提高计算吞吐量[^3]。 - **稀疏性支持（Sparsity Support）**: 利用权重剪枝后的稀疏矩阵结构进一步降低运算复杂度，在不牺牲精度的情况下加快推断速度。 - **混合精度推理（Mixed Precision Inference）**: 结合 FP16 或 BF16 数据类型执行部分操作可以有效节省显存空间同时保持较高的准确性水平[^2]。 以下是基于 Python API 实现的一个简单示例程序片段展示如何加载预训练好的 BERT 模型并通过 TensorRT 进行序列分类任务: ```python import tensorrt as trt from transformers import BertTokenizerFast def build_engine(onnx_file_path, engine_file_path): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(TRT_LOGGER) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser = trt.OnnxParser(network, TRT_LOGGER) with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): print('ERROR: Failed to parse the ONNX file.') for error in range(parser.num_errors): print(parser.get_error(error)) return None config = builder.create_builder_config() profile = builder.create_optimization_profile() input_shape_min = (1,) input_shape_max = (batch_size,) profile.set_shape("input_ids", min=input_shape_min, opt=(batch_size//2,), max=input_shape_max) profile.set_shape("attention_mask", min=input_shape_min, opt=(batch_size//2,), max=input_shape_max) config.add_optimization_profile(profile) serialized_engine = builder.build_serialized_network(network, config) with open(engine_file_path, "wb") as f: f.write(serialized_engine) tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased') text = ["example sentence"] encoded_input = tokenizer(text, padding=True, truncation=True, return_tensors='pt') build_engine('./model.onnx', './engine.trt') ``` 此脚本首先定义了一个 `build_engine` 函数用于从给定的 ONNX 文件构建 TensorRT 引擎文件；接着实例化了一个 HuggingFace 的 BERT Tokenizer 对输入文本进行了编码处理最后调用了上述方法完成整个流程[^4]。 #### 性能评估与实际效果 利用 TensorRT 可以极大地改善 LLM 推理阶段的表现指标比如延迟时间以及每秒查询数量(QPS)，尤其是在 GPU 平台上更是如此。例如，在某些测试条件下相比原始 PyTorch 版本能够获得超过两倍以上的增益比率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值