什么是TensorRT - 知乎

最新推荐文章于 2025-10-20 13:37:24 发布
转载 最新推荐文章于 2025-10-20 13:37:24 发布 · 285 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/356072366
文章标签：

#开发语言 #后端

博客围绕TensorRT展开，探讨其相关内容，TensorRT在信息技术领域有重要应用，能助力后端开发等工作。
jetson tx2 上部署TensorRT模型推理
weixin_43590290的博客
07-23 7829
1## 标题 jetson tx2 是什么？ jetson tx2简而言之就是
TensorRT-LLM+ChatGLM/Qwen推理部署
anycall201的博客
05-03 3597
无需拉取代码、无需编译，使用Nvidia官方工具便捷式安装TensorRT-LLM引擎，并使用该引擎对chatglm和qwen模型推理加速，部署大模型线上服务。
TensorRT简介
网络资源是无限的
11-07 4万+
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT需要CUDA的支持。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用32位...
深度学习篇---TensorRT
最新发布
道阻且长，行则将至。
10-20 777
TensorRT是NVIDIA为JetsonNano等边缘设备开发的AI推理加速引擎，可将训练好的模型优化为更快、更省电的版本。它通过合并冗余计算、适配GPU指令集和压缩参数精度（支持FP16/INT8），使模型推理速度提升2-10倍，内存占用降低50%以上。使用流程简单：将PyTorch/TensorFlow模型转为ONNX格式，通过trtexec工具生成.engine文件，最后调用Python API实现加速推理。
TensorRT是什么，有什么作用，如何使用
githubcurry，985cs博士在读
03-08 3万+
TensorRT 是由 NVIDIA 提供的一个高性能深度学习推理（inference）引擎。它专为生产环境中的部署而设计，用于提高在 NVIDIA GPU 上运行的深度学习模型的推理速度和效率。以下是关于 TensorRT 的详细介绍：TensorRT 是 NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到 NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。TensorRT 主要用于加速实时推理任务，如物体检测、图像分类、自然语言处理等。
TensorRT安装及使用教程
热门推荐
ZONGXP的博客
01-08 18万+
TensorRT 安装方法
1什么是TensorRT
roymustang的博客
02-20 256
转载 tensorRT
LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM
wshzd的博客
11-03 2304
在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的。
YOLOv8-TensorRT on Jetson
Gaoithe的博客
02-29 751
出现下面的错误，要么是engine文件不是本机编译的，要么engine文件的路径错了，建议在代码中判断engine文件路径是否正确，同时把路径打印出来。注意必须要文档地址中用下面命令生成的 onnx 文件，否则会报错。注意 engine 文件不跨平台，只能在对应的平台上运行。已放弃 (核心已转储)
TensorRT推理-python
weixin_46460816的博客
02-18 1168
主要是实现tensorrt的安装、测试和推理过程
用 TensorRT 加速 GPT-2 推理：ONNX 加载、CUDA 显存管理与性能优化实战
qq_36633599的博客
05-11 1241
本文基于导出的 GPT-2 ONNX 模型，介绍如何使用 TensorRT 构建引擎、执行推理并封装推理函数，详细讲解动态 shape 支持、显式上下文管理、显存申请与释放流程，适合部署工程师参考。
tensorrt
在路上@Amos
12-23 269
https://blog.youkuaiyun.com/zong596568821xp/article/details/86077553
TensorRT 简单介绍
豫州刺史
12-19 989
对于算法工程师来说，相信大家已经对TensorRT耳熟能详了，那么这个TensorRT是什么呢？其实，TensorRT是一个可以在NVIDIA各种GPU硬件平台下运行的，同时也是一个高性能的，可以为深度学习的落地应用起到的作用。TensorRT是由C++、CUDA、Python三种语言编写成的一个库，其中核心代码的语言为C++和CUDA，当然，它也有Python的API接口。
tensorRT简介
Loong Cheng的博客
08-10 3639
TensorRT 是由 Nvidia 推出的 GPU 推理引擎(GIE: GPU Inference Engine)。和通用的深度学习框架不同，TensorRT 只提供前向传播，即推理的功能，而没有训练的功能。实际上，训练的场景下，资源通常不会特别紧张，因为是离线的操作(不要求实时反馈)，即使出现了一时的资源不足也可以通过增加计算时长来弥补，所以训练框架的资源消耗一般不会有很强的优化。而网络的部署...
TensorRT介绍
陶将的博客
03-03 4万+
TensorRT 文章目录TensorRT训练和推理的区别TensorRTTensorRT 优化和性能TensorRT 工作原理Python APIImporting TensorRT Into PythonCreating A Network Definition In PythonBuilding An Engine In PythonSerializing A Model In PythonPerforming Inference In PythonexamplesWorking With Mixed
TensorRT详解与部署案例
qq_47898999的博客
04-28 5904
TensorRT推理部署
【TensorRT】TensorRT的学习
qq_44747572的博客
01-15 696
文章目录基于TensorRT的神经网络加速方法1 TensorRT介绍2. 加速方法 基于TensorRT的神经网络加速方法 我们计算了视网膜OCT成像中每张图像的采集速度约为0.0083s。这种微秒级的成像速度体现了OCT技术的实时成像特点。但当图像采集完成后，需要传输到计算机进行运动补偿、图像降噪。经过该过程后，上位机显示OCT图像的时间将会升高到秒级，甚至更长。目前，常用的运算加速方法是将程序移植到GPU的CUDA核心。但传统的运动补偿方法，存在步骤冗余、补偿精度低等问题，不能发挥出GPU的高并行运算
TensorRT 简介
铤铤的Blog
09-03 3413
文章目录1、简介2、生态系统3、开发流程4、使用步骤5、build阶段5.1、算子融合详解GoogLeNet为例Conv+BN+Relu融合5.2、INT8量化定义基本知识阈值选择交叉熵具体步骤阈值计算校准算法6、总结7、参考资料 1、简介 TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK。 TensorRT包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtime。 TensorRT能够以更高的吞吐量和更低的延迟运行深度学习模型。 TensorRT is a
C+ tensorrt cuda编程
03-13
考虑到用户可能希望有中文资源，可以推荐国内技术社区如知乎、优快云上的相关文章，但需注意筛选质量。另外，书籍方面，《CUDA C编程权威指南》是经典参考书，适合深入学习。 最后，建议用户结合官方文档和社区资源，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值