tensorRT 开源和自带sample

最新推荐文章于 2025-10-20 13:37:24 发布
转载 最新推荐文章于 2025-10-20 13:37:24 发布 · 2.8k 阅读 · 0

部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

TensorRT-v8.6

TensorRT-v8.6

TensorRT

TensorRT 是NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。

【效率提高10倍项目原创发布！】深度学习数据自动标注器开源 目标检测和图像分类（高精度高效率）
cv君的博客
12-20 6万+
文章目录项目结构与使用教程目标检测模式影像分类模式数据采集演示与训练出来的模型演示训练出来的目标检测模型演示训练出来的分类模型演示【固定框检测模式】一键训练YOLOv3 YOLOv4 YOLOv5 方法转换数据训练与检测训练检测核心部分介绍目标检测数据标注分类分类训练部分分类推理部分模型导出部分后续优化优化tips1： 使用更多数据增强优化tips2：使用高质量相机采集，或者修改图片size获取更高清图片优化tips3：使用更高质量跟踪算法：比如deepsort ，我已经做了，后续慢慢会开源优化tips4：
转onnx模型学习汇总及TensorRT部署
qq_35435798的博客
08-06 1252
转onnx模型和TensorRT部署。涉及自动驾驶相关开源算法（bevdepth、MatrixVT、BEVDet poolv2）。有需要可深入交流
Nvidia TensorRT官方例程源代码
02-20
Nvidia TensorRT官方例程源代码，从TX1上拷贝下来的。
TensorRT及CUDA自学笔记002 TensorRTsample_demo（内含完整代码和大量注释）
weixin_43111445的博客
01-13 717
TensorRT 自学笔记002 sample_demo 各位大佬，这是我的自学笔记，如有错误请指正，也欢迎在评论区学习交流，谢谢！ 代码来源 本次笔记的代码来自英伟达官方在B站上的课程分享的链接（详见笔记001），我略微修改了代码，并加上了大量注释（详见下文，我附上了全部代码） 重要知识点 项目功能 本项目的功能是创建一个只有一个identityLayer（恒等映射层）的网络、序列化网络并将其保存为.plan文件，随后加载.plan文件，为该网络输入一个维度为3x4x5张量，打印其计算结果 标准的Tens
深度学习篇---TensorRT
最新发布
道阻且长，行则将至。
10-20 803
TensorRT是NVIDIA为JetsonNano等边缘设备开发的AI推理加速引擎，可将训练好的模型优化为更快、更省电的版本。它通过合并冗余计算、适配GPU指令集和压缩参数精度（支持FP16/INT8），使模型推理速度提升2-10倍，内存占用降低50%以上。使用流程简单：将PyTorch/TensorFlow模型转为ONNX格式，通过trtexec工具生成.engine文件，最后调用Python API实现加速推理。
Tensorrt nvidia加速推理源码
06-18
This repository contains the Open Source Software (OSS) components of NVIDIA TensorRT. Included are the sources for TensorRT plugins and parsers (Caffe and ONNX), as well as sample applications demonstrating usage and capabilities of the TensorRT platform.
深度学习模型部署(六)TensorRT安装以及运行sample
qq_45983373的博客
03-11 929
安装TensorRT，并运行官方给出的sample。
TensorRT源码编译
ainibinxi的博客
03-22 3650
TensorRT源码编译示例
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机多卡-RTX 4090双卡（七）
热门推荐
以微薄之力，予他人些许温暖.
08-16 1万+
使用Axolotl高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机单卡-V100（九）
以微薄之力，予他人些许温暖.
08-22 7691
使用Axolotl高效微调qwen2-7b-instruct
全面解析yolov5自主数据集模型训练的细则及训练后的数据集识别不到问题
OuNuo5280的博客
12-31 1961
全面解析yolov5自主数据集模型训练的细则及训练后的数据集识别不到问题
基于C++快速使用TensorRT来部署模型项目源码
03-24
基于C++快速使用TensorRT来部署模型项目源码
TensorRT Samples: CharRNN
网络资源是无限的
11-20 2513
TensorRT Samples: CharRNN
[TensorRT] TensorRT官方例程SampleOnnxMNIST代码完全解读！
Laputa的博客
12-23 7994
本文首发于https://yangzhenyu.tech/ 作者：Frank 导读：本文主要带来对TensorRT中自带的sample:sampleOnnxMNIST的源码解读，官方例程是非常好的学习资料，通过吃透一个官方例程，就可以更加深刻地了解TensorRT的每一步流程，明白其中套路，再去修改代码推理我们自己的网络就是很容易的事情了。 TensorRT的一份源码要怎么看？TensorRT是一个很具有操作流程性质的代码，我们从main函数开始着手，顺着执行的流程步骤向前推，遇到各种功能的嵌套，就像
TensorRT学习笔记4 - 运行sampleGoogleNet
lch的博客
07-24 759
目录代码解析遇到的问题        先占个坑，有时间补。                 代码解析 遇到的问题                        ...
TensorRT 入门(2) 官方样例 sampleMNISTAPI
清欢
02-05 941
文章目录0. 前言1. TensoRT C++ 构建网络1.1. 对象定义1.2. 建立网络2. 其他相关代码2.1. 读取命令行参数2.2. logger 相关 0. 前言 本文提到的sampleMNISTAPI与之前笔记提到的sampleMNIST有完全相同的输入与输出，不同之处在于模型创建方式不一样。 sampleMNIST通过导入一个caffe模型并将caffe模型转换为tensorrt的形式。 sampleMNISTAPI通过TensorRT的C++接口直接一层一层搭建模型，并将caffe中的
docker编译TensorRT源码
DYF的博客
05-24 929
docker编译TensorRT源码 1. 根据cuda，cudnn版本选择合适的源码 TensorRT源码地址：https://github.com/NVIDIA/TensorRT/tree/20.03 cuda10.2+cuda7.6.5: TensorRT最高支持的是TensoRT7.0.0 TensorRT7.1以上均需要cudnn8.0以上，找到合适的源码版本 git clone -b master https://github.com/nvidia/TensorRT TensorRT -b re
【代码分析】TensorRT sampleINT8 详解
HaoBBNuanMM的博客
11-06 4496
目录 前言 代码分析 Main入口 构建(Build)网络 BatchStream 推理(Infer)过程 资源释放 前言 TensorRT可以通过INT8量化处理网络，然后大幅加速网络推理速度，本文旨在详细分析MNIST INT8 Sample的代码，解释如何使用TensorRT 对网络做INT8 量化处理。 关于INT8 量化的背景知识可以参考博文Ten...
TensorRT 教程（二）：TensorRT 源码简介
张伟的专栏
06-06 2346
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。 1. TensorRT 库构成 以编译后源码压缩包安装方式进行安装的TensorRT库主要有以下文件夹： 1 2 3 4 5 6 ├── data ├── doc ├── include # 所有头文件，可...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值