TensorRT全方位概览笔记

原创 已于 2022-12-22 13:05:56 修改 · 627 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #人工智能

于 2022-12-20 16:38:06 首次发布
本文介绍了如何利用TensorRT 8.2.3进行模型优化，包括API搭建、parser应用、框架内集成、自定义plugin及高级技巧如动态shape、重叠计算等。开发辅助工具如trtexec、Netron和polygraphy被详细讲解，同时探讨了plugin使用、性能瓶颈和多线程共享engine。
部署运行你感兴趣的模型镜像

TensorRT （基于8.2.3）

1.简介

通过推理优化器（构建）和运行环境（运行）实现高效实现推理过程

更高吞吐量
更低延迟
C++/Python

构建期

模型解析/搭建
计算图优化
节点消除
精度
优选kernel / format
自定义plugin
显存优化

运行期

对象管理，内存管理，异常处理
序列化 / 反序列化

1.export

在这里插入图片描述

1.1 使用tensorrt API 搭建

在这里插入图片描述

1.2 使用parser

在这里插入图片描述

1.3 使用框架内 tensorrt 接口

某些框架的新版本已经把trt加入在子模块，比如tensorflow，pytorch，个人不用不太了解

1.4 注意事项

在这里插入图片描述

2.开发辅助工具

在这里插入图片描述

2.1 trtexec

工具转换
性能测试

2.2 Netron

网络结构可视化

2.3 onnx-graphsurgeon

功能：
修改计算图： 图属性，节点，张量，节点和张量的连接，权重
修改子图：添加，删除，替换，隔离
优化计算图：常量折叠，拓扑排序，去除无用层
目的：
手工修改网络
去除冗余节点
修改阻碍tensorrt融合的节点组
手工模块化节点组

2.4 polygraphy

功能：

2.5 Nsight Systems

在这里插入图片描述

3. plugin

3.1 plugin

在这里插入图片描述

3.2 使用

在这里插入图片描述
在这里插入图片描述
plugin不参与层融合

3.3 类型

在这里插入图片描述

3.4 结合使用parser 和 plugin

在这里插入图片描述

4. 高级话题

4.1 Dynamic shape 在min-max 跨度较大时性能下降

在这里插入图片描述

4.2 重叠计算和数据拷贝时间，增加GPU利用率

在这里插入图片描述

4.3 一个engine供多个线程使用

在这里插入图片描述

仅用于个人视频笔记

您可能感兴趣的与本文相关的镜像

TensorRT-v8.6

TensorRT-v8.6

TensorRT

TensorRT 是NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。

智能数字资产评估系统：AI应用架构师的实战能力提升
AI智能探索者的博客
08-06 747
数字资产评估的现状与AI技术的适配性：为什么传统方法失效，AI如何解决核心矛盾？智能评估系统的核心架构设计：从数据层到应用层，拆解6大核心模块的职责与协作逻辑；关键技术栈选型与实战决策：数据处理、模型训练、服务部署的工具链如何组合？架构师实战挑战与解决方案：数据质量、模型可解释性、实时性等8大难题的应对策略；AI应用架构师的能力提升路径：技术能力、业务理解、工程化落地的刻意练习方法。
【TensorRT】TensorRT及加速原理
浩瀚之水的专栏
03-12 1711
TensorRT通过硬件级优化和计算图重构，可在保持模型精度的前提下实现5-10倍加速。其核心在于充分利用GPU的并行计算特性，通过内存优化、计算重组、精度调整等技术突破传统框架的性能瓶颈。TensorRT是NVIDIA推出的高性能推理优化器，专为GPU加速设计。
tensorRT5.15 使用中的注意点
TigerZ*的博客
10-28 1096
1、鉴黄加速效果：压测及线上情况 2、安装，建议使用tar的形式，避免遇到一些依赖库找不到的问题。 3、Python图片预处理多进程不及多线程。 多进程CPU占用低，主要是预处理的时间过少，Python 进程分发任务开销对于我们的ms级应用不可忽视。 对比为batch=8，进程、线程为8，时间均为8张时间，循环1000次测试。 多线程，平均为8.5ms(每千次次变动7.5-9.5S，近乎100%占用)； 多进程，平均为19ms（15-21ms）； ...
13.TensorRT中文版开发教程-----TensorRT的最佳性能实践与性能调优
专注于人工智能领域的小何尚
05-10 1万+
TensorRT的最佳性能实践 点击此处加入NVIDIA开发者计划 13.1. Measuring Performance 在开始使用 TensorRT 进行任何优化工作之前，必须确定应该测量什么。没有衡量标准，就不可能取得可靠的进展或衡量是否取得了成功 Latency 网络推理的性能度量是从输入呈现给网络到输出可用所经过的时间。这是单个推理的网络延迟。较低的延迟更好。在某些应用中，低延迟是一项关键的安全要求。在其他应用程序中，延迟作为服务质量问题对用户来说是直接可见的。对于批量处理，延迟可能根本不重要。
【亲测免费】 ComfyUI_TensorRT 项目常见问题解决方案
gitblog_07710的博客
09-13 1168
**ComfyUI_TensorRT** 是一个用于 ComfyUI 的 TensorRT 节点插件，旨在通过利用 NVIDIA TensorRT 技术，为 Stable Diffusion 模型在 NVIDIA RTX™ 显卡上提供最佳性能。该项目支持多种 Stable Diffusion 版本，包括 SD 1.5、SD 2.1、SD 3.0、SDXL、SDXL Turbo、Stable Vid...
TensorRT安装及使用教程
热门推荐
ZONGXP的博客
01-08 18万+
TensorRT 安装方法
Megatron-LM 详细学习笔记 第七章：推理与部署（吞吐与成本）
qq_38334677的博客
11-04 910
本章重点介绍了大模型推理的优化技术与部署流程。核心内容包括：如何将分布式训练检查点转换为高效推理格式以适配不同并行拓扑；深入解析KV-Cache管理策略及其优化技术（如分页注意力），解决显存瓶颈；系统讲解模型量化、批处理和服务化部署中的关键权衡点。提供了从权重转换、批处理优化到压力测试的完整工具链，并总结了常见错误场景，帮助开发者在精度、吞吐和延迟之间找到最佳平衡。
【AI量化】策略稳定性监控与自适应调度系统设计
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-27 825
本篇系统构建了量化策略孵化后的完整稳定性管理与自适应调度体系，覆盖实时健康度监控、异常检测与自动调度、基于健康度的动态权重优化、组合层稳定性联动与风险闭环控制。通过标准化指标体系、分级响应机制与智能优化引擎，形成策略-组合联动的动态自修复闭环，显著提升实盘系统抗劣化能力与收益持续性。面向未来，进一步展望了Agent协作、自演化孵化、自适应组合重构的智能量化演进路径。
51c大模型~合集16
whaosoft~aiotの开发板商城
11-06 2113
​最近几年受益于巨大的参数规模和海量的训练语料，基于Transformer的大型语言模型（LLMs），如ChatGPT和LLaMA系列，在特定领域知识的生成和复杂推理任务中都表现出色的性能。此外，LLMs的能力随着参数规模的扩大而继续增强，给人们在通往AGI的道路上以无限遐想。然而，巨大的参数规模导致了模型需要巨大的存储和计算需求，这大大限制了LLMs的广泛应用和发展。量化技术通过将32位参数映射到更小的位数，有效地缓解了这些限制，该技术可以显著减少存储需求，并在推理过程中提升了计算速度和能源效率。
全面解析大模型知识与应用
全世界的博客
06-07 1603
在当今人工智能领域，大模型（Large Models）已经成为了一个热门话题。它们不仅在自然语言处理、计算机视觉、推荐系统等多个领域展现出了卓越的性能，而且还不断地推动着人工智能技术的发展。下面，我们将从大模型的基本概念、发展历程以及特点与分类三个方面，对大模型进行全面概述。大型语言模型（LLM）是一种特殊类型的大模型，它专注于处理和生成文本数据。LLM通过预训练能够理解和生成自然语言，广泛应用于聊天机器人、文本生成、信息检索等领域。LLM的核心在于其能够预测给定文本序列的下一个词或标记。
TensorRT基本流程概览
xu.hyj
02-28 1745
uint32_tint在RTX中，有两个阶段：1）build engine：将储存了层名和权重的wts文件转换为engine文件。该过程需要IBuilder和INetwork；2）inference：直接将engine读取到IRuntime中，进行推理。此时的网络定义只是一个空壳，没有结构也没有权重参数。ONNX是一种中间件表示协议，规定了网络的结构且储存了参数。现在可以用TensorRT的ONNX Parser接口将ONNX文件中的结构和参数填充到上文定义的空客网络network中。
1-5 图文： 概览【学习辅导笔记】.pdf
06-15
1-5 图文： 概览【学习辅导笔记】.pdf
TensorFlow-TensorRT-User-Guide.pdf
11-18
1. 概览 1.1. 引言 TensorFlow是Google开发的一款强大的开源机器学习框架，广泛应用于各种深度学习模型的训练和推理。然而，尽管TensorFlow提供了丰富的功能，但在推理阶段，尤其是在实时服务和边缘计算中，模型的...
Canon MF4350d全方位操作手册概览
本指南详细介绍了Canon MF4350d多功能传真一体机的基础操作步骤，适合初次使用者参考。在开始使用前，用户需要仔细阅读完整的手册，确保对设备的安装、设置和基本功能有深入理解。 1. **使⽤前准备**： ...
MobaXterm 高效运维实战：从入门到进阶的 Linux 运维 “瑞士军刀” 用法
hy行者勇哥的博客
12-18 553
MobaXterm 作为 Linux 运维的 “全能工具包”，不仅集成了 SSH 终端、SFTP 文件传输、X11 图形转发等基础功能，更隐藏着批量执行、宏命令、会话分组等高级特性，能轻松解决新手常遇到的 “重复操作繁琐”“多服务器切换麻烦”“文件传输低效” 等痛点。本文用 “运维指挥中心” 的通俗比喻，拆解 MobaXterm 的核心架构，针对 Linux 运维中的高频问题，分享可直接上手的高级技巧与自动化脚本案例，帮助新手快速从 “手动跑腿” 升级为 “高效指挥”，大幅提升运维效率。
[Python实战] 解决Outlook同步中的字符编码问题：表情符号也能正确处理了！
每日出拳老爷子的博客
12-16 213
摘要：本文分享了在使用Python同步Outlook会议信息时遇到的GBK编码问题解决方案。当处理包含表情符号（如📧）的会议内容时，Flask返回JSON会报"'gbk' codec can't encode"错误。作者通过封装ensure_utf8函数对文本进行UTF-8编码处理，同时建议设置Flask响应头编码为UTF-8和调整控制台输出编码，有效解决了特殊字符导致的编码异常问题。文章提供了从问题分析到完整解决方案的实践过程，适用于处理Python中的Unicode编码问题。
《Python实战小课：爬虫工具场景——开启数据抓取之旅》导读
2501_93253814的博客
12-15 2671
本文介绍了Python爬虫技术在三大场景中的应用：行业资讯爬取、学术文献摘要获取和电商评价收集。针对行业资讯，详细解析了从网页请求到数据存储的全流程；在学术文献方面，重点阐述了如何构建搜索请求和提取关键信息；对于电商评价，则说明了数据定位和清洗方法。文章还探讨了爬虫优化策略及反爬机制应对方案，为数据获取工作提供了实用指南。通过系统学习这些技术，读者可以提升数据采集能力，为商业决策、学术研究和市场分析提供有力支持。
Windows11系统安装Isaac Sim和Isaac Lab记录
weixin_65198494的博客
12-13 518
本文介绍了在Windows 11系统上安装IsaacSim和IsaacLab的完整流程。硬件配置为RTX4060显卡、32GB内存，软件环境包括NVIDIA驱动591.44、CUDA12.8、PyTorch2.7.0和Python3.11。安装IsaacSim5.1的主要步骤包括：更新GPU驱动、安装CUDA、创建conda虚拟环境、开启长路径支持、更新pip后安装IsaacSim pip包。IsaacLab安装则需要克隆GitHub仓库，通过安装脚本完成。最后通过运行验证脚本确认安装成功。
【FastAPI】FastAPI依赖注入完全指南
最新发布
weixin_63434398的博客
12-18 2066
本文全面介绍FastAPI的依赖注入机制，主要包含两大注入方式：原生自动注入和Depends自定义注入。原生注入支持Request/Response等框架对象以及路径/查询参数等自动解析，而Depends则用于自定义依赖项注入。文章详细讲解依赖注入的核心思想、实现方式、生命周期管理、高级技巧，并通过完整认证系统案例展示实战应用。最后剖析Depends底层原理，并与Spring框架进行对比，帮助开发者彻底掌握FastAPI这一核心特性，实现代码解耦和高效开发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值