【TensorRT】TensorRT 核心类解析

已于 2025-04-16 19:22:10 修改
阅读量617 收藏 10
点赞数 15
分类专栏： 深度学习目标检测(YOLO)专栏 # Tensorrt框架 # X86平台边缘端部署（实践） 文章标签： c++ 开发语言
于 2025-03-12 18:23:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a8039974/article/details/146211736
版权

 核心类

1. 基础类
类名 职责说明 典型生命周期
​ILogger 日志输出控制（错误/警告/信息） 全局单例
​IBuilder 引擎构建器（创建网络、配置参数、生成引擎） build阶段创建
​INetworkDefinition 定义计算图结构（添加层、设置输入输出） 由Builder创建
​IBuilderConfig 构建配置（设置精度、工作空间大小、优化策略等） 与Builder关联
​2. 模型解析
类名 功能说明
​OnnxParser 解析ONNX模型到TensorRT网络结构
​UffParser
了解本专栏 订阅专栏 解锁全文
【TensorRT】 TensorRT API函数分类解析
浩瀚之水的专栏
04-16 24
TensorRT API 是用于构建、优化和部署深度学习推理引擎的核心工具链，其函数库涵盖模型解析、网络构建、优化配置、插件开发等多个环节。
【TensorRT】 INetworkDefinition 类深度解析
浩瀚之水的专栏
03-12 358
INetworkDefinition 是 TensorRT 模型构建的核心接口，用于定义神经网络的计算图结构。
jetson tx2 上部署TensorRT模型推理
weixin_43590290的博客
07-23 7611
1## 标题 jetson tx2 是什么？ jetson tx2简而言之就是
高性能深度学习支持引擎实战——TensorRT
weixin_34290390的博客
04-11 1502
推广：数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！ 本场技术沙龙回顾链接：TensorRT加速深度学习在线部署 演讲嘉宾简介： 李曦鹏，现任英伟达devTech团队高级软件工程师，毕业于中国科学院过程工程研究所，拥有近10年CUDA/HPC编程经验。主要负责深度神经网络和高性能计算的性能优化。 以下内容根据演讲嘉宾视频分享以及PPT...
【TensorRT】TensorRT从安装到推理——Python 环境下 MobileNetV4 三分类任务
最新发布
weixin_52010459的博客
03-27 1168
我想开发一个基于深度学习的分类小软件，逐渐了解到了TensorRT在模型推理速度上的优势，经过一下午资料的查找实现了将onnx模型转为TensorRT格式模型的推理及测试过程。将实现过程记录下来方便日后查看。本文实验设备是MX350显卡 2G显存。
TensorRT
09-24 496
什么是TensorRT? TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。 TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT也是支持C++前端的，如
TensorRT 简单介绍
豫州刺史
12-19 741
对于算法工程师来说，相信大家已经对TensorRT耳熟能详了，那么这个TensorRT是什么呢？其实，TensorRT是一个可以在NVIDIA各种GPU硬件平台下运行的，同时也是一个高性能的，可以为深度学习的落地应用起到的作用。TensorRT是由C++、CUDA、Python三种语言编写成的一个库，其中核心代码的语言为C++和CUDA，当然，它也有Python的API接口。
TensorRT-使用TensorRT进行实时手部姿态估计+手势分类-优质算法部署项目实战.zip
10-21
本次实战项目的核心在于展示如何利用TensorRT的特性，将一个准确度高且复杂的神经网络模型，转换为一个高效的实时手部姿态估计和手势分类系统。通过对模型的优化和集成，使得原本可能在计算资源上存在瓶颈的应用能够...
【TensorRT】 IGpuAllocator 类深度解析
浩瀚之水的专栏
03-13 521
IGpuAllocator 是 TensorRT 中用于自定义 GPU 内存分配策略的接口，允许开发者接管 TensorRT 的内存管理逻辑，适用于需要精细控制显存使用的场景。
TensorRT介绍
weixin_43880935的博客
02-27 441
引用：https://www.cnblogs.com/qccz123456/p/11767858.html 1 简介 TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pyto...
TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
08-03
TensorRT 7.0.0.11 for Ubuntu 18.04 and CUDA 10.2 tar package
TensorRT安装及使用教程
热门推荐
ZONGXP的博客
01-08 17万+
TensorRT 安装方法
tensorrt介绍
csuzhaoqinghui的博客
08-28 1301
TensorRT 处理流程  基本处理过程：1>caffe model 转化 gie的model，或者从磁盘或者网络加载gie可用的model；2>运行GIE引擎（数据提前copy到GPU中）；3>提取结果  二、TensorRT介绍  TensorRT 现在是inference 精度最高，速度最快的，而且在不断的改进过程中，在保证软件精度的同时，不断提高速度；TensorRT...
tensorflow部署之tensorRT
GO追风少年
03-02 4001
本文转载于简书作者liyonghong 本文翻译于博客Speed up TensorFlow Inference on GPUs with TensorRT，这篇博客介绍了如何使用TensorRT加速TensorFlow模型的推理速度，作者为： Siddharth Sharma — Technical Product Marketing Manager, NVidia Sami Kam...
TensorRT是什么，有什么作用，如何使用
githubcurry
03-08 2万+
TensorRT 是由 NVIDIA 提供的一个高性能深度学习推理（inference）引擎。它专为生产环境中的部署而设计，用于提高在 NVIDIA GPU 上运行的深度学习模型的推理速度和效率。以下是关于 TensorRT 的详细介绍：TensorRT 是 NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到 NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。TensorRT 主要用于加速实时推理任务，如物体检测、图像分类、自然语言处理等。
TensorRT部署总结（一）
qq_23022733的博客
05-04 1万+
文章目录1、什么是TensorRT2、流程 1、什么是TensorRT 2、流程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浩瀚之水_csdn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值