TensorRT - C++ API 文档

原创 已于 2025-11-10 08:30:38 修改 · 898 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c++ #开发语言

于 2025-10-13 02:57:34 首次发布

C++ API 文档

注意

这是 NVIDIA TensorRT 库的 TensorRT C++ API。NVIDIA TensorRT C++ API 允许开发者使用 C++ 导入、校准、生成和部署网络。网络可以直接从 ONNX 导入，也可以通过实例化各层并直接设置参数和权重来以编程方式创建。

本节将展示 C++ API 的基本用法，假设你从一个 ONNX 模型开始。sampleOnnxMNIST 示例对此场景有更详细的说明。

C++ API 可通过头文件 NvInfer.h 访问，位于 nvinfer1 命名空间。例如，一个简单应用可能以如下方式开始：

#include “NvInfer
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Tensorrt笔记（一） C++ API
SimpleBright_Man的博客
06-06 1899
计划：C++和python API学习，看yolo系列实现代码，部署一遍，自己写一份（就弄自己的）
TensorRT 的 C++ API 使用详解
小铅笔
04-26 4009
目录 1. TensorRT 的 C++ API 使用示例 2. 用 C++ API 创建TensorRT网络 2.1. 使用 C++ 的 parser API 导入模型 2.2. 使用 C++ Parser API 导入 Caffe 模型 2.3. 使用 C++ Parser API 导入 TensorFlow 模型 2.4. 使用 C++ Parser API 导入 ONNX 模型 3. 用 C++ API 构建 engine 4. 用 C++ API 序列化一个模型 5. 用 C++
使用C++部署TensorRT
热门推荐
wq_0708的博客
11-10 2万+
使用C++ API构建TensorRT engine
深入理解 TensorRT (1) TensorRT Python API 详解
清欢
04-02 1万+
文章目录0. 前言1. 基本概念1.1 Logger1.2 Builder1.3. Runtime1.4 ICudaEngine1.5 IExecutionContext2. 推理2.1 相关API详解2.2 实例3. ONNX 模型转换4. Dynamic Shape5. 插件 0. 前言 之前浏览过Python API并输出了笔记，但在实际使用过程中，上次的笔记没有任何卵用…… 所以，本文根据 API 提供的几个功能，分别介绍相关API以及实例，希望下次用到TensorRT的时候，可以直接在这里
TensorRT的C++接口解析
专注于人工智能领域的小何尚
02-15 1935
本章说明 C++ API 的基本用法，假设您从 ONNX 模型开始。 [sampleOnnxMNIST](https://github.com/NVIDIA/TensorRT/tree/main/samples/s(rdp.jpg)]本章说明 C++ API 的基本用法，假设您从 ONNX 模型开始。更详细地说明了这个用例。C++ API 可以通过头文件NvInfer.h访问，并且位于nvinfer1命名空间中。TensorRT C++ API 中的接口类以前缀I开头，例如ILoggerIBuilder等。
深度学习 - TensorRT-master - 官方开源项目 -tensorrt-master- 用于深度学习模型推理加速引擎开发与部署
最新发布
08-20
- **文档与配置**：提供详细的API文档、编译指南、平台适配说明，支持Windows、Linux及嵌入式平台（如Jetson）的编译与部署。 #### 适用人群 - **深度学习框架开发者**：需将TensorRT集成到框架中（如PyTorch、...
精选资源
TensorRT-8.4.3.1.Linux.x86-64-gnu.cuda-11.6.cudnn8.4.tar.gz
09-21
5. **易用性**：TensorRT提供了Python和C++ API，方便开发者进行模型导入、配置、编译和部署。 接下来，我们关注一下依赖的CUDA和CUDNN库： 1. **CUDA**：CUDA是NVIDIA开发的并行计算平台和编程模型，它允许开发者...
TensorRT-LLM保姆级教程-快速入门
2401_86435672的博客
09-28 1687
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。此外，它还包括一个用于与 NVIDIA Triton 推理服务集成的后端；同时， 使用 TensorRT-LLM 构建的模型可以使用使用张量并行和流水线并行在单 GPU 或者多机多 GPU 上执行。
精选资源
使用TensorRT API_YOLOv11-TensorRT的YOLOv11的C++实现.zip
10-03
本压缩包文件提供了YOLOv11算法结合TensorRT API实现的C++代码，供开发者参考使用。开发者可以利用此资源快速搭建YOLOv11的推理引擎，进而在自己的应用中实现高效的对象检测功能。 文件中包含的主要内容可能涉及...
TensorRt（3）mnist示例中的C++ API
热爱生活，忠于自己
12-26 1501
目前使用主要API函数位于中，根据输入的第三方支持模型类型选择或。主要的一些对象，包含基本的、、、，模型解析/，推理运行、、，以及其他有关的基本数据结构不列举。另外为使用方便，在项目示例common目录中提供了大量文件用于测试，例如简单的(1) Logger对象常规使用需要传递一个ILogger的派生类，可以实现如下} }简化使用直接使用。(2) std::unique_ptr对象为通过智能指针管理资源，例如正确使用可能需要如下操作，// 结束使用简化使用直接使用。
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
3.TensorRT中文版开发教程-----TensorRT的C++接口解析
专注于人工智能领域的小何尚
04-28 1万+
3.TensorRT的C++接口解析 点此链接加入NVIDIA开发者计划 本章说明 C++ API 的基本用法，假设您从 ONNX 模型开始。 sampleOnnxMNIST更详细地说明了这个用例。 C++ API 可以通过头文件NvInfer.h访问，并且位于nvinfer1命名空间中。例如，一个简单的应用程序可能以： #include “NvInfer.h” using namespace nvinfer1; TensorRT C++ API 中的接口类以前缀I开头，例如ILogger 、 IBu
五. TensorRT API的基本使用-TensorRT-network-structure
周同学的博客
07-24 1685
五. TensorRT API的基本使用-TensorRT-network-structure
tensorrt
qq_52396030的博客
12-05 454
uint32_t。
TensorRT 下不同 API 推理时间的对比实验
zi_y_uan的博客
05-20 1万+
主要对比TensoRT C++ api、python api，在onnxparser和原生api构建网络方面的加速效果
SSM整合框架（spring+spring MVC）
weixin_43908988的博客
09-09 226
SSM整合框架（spring+spring MVC） 1.创建数据库配置文件database.propreties driver=com.mysql.jdbc.Driver url=jdbc:mysql://localhost:3306/数据库名?useUnicode=true&characterEncoding=utf8 username=****** password=***** 2.创建spring-dao.xml <?xml version="1.0" encoding="UTF-8
深度学习算法优化系列十九 | 如何使用tensorRT C++ API搭建网络
I good vegetable a!
03-10 1744
1. 前言 在深度学习算法优化系列十八 | TensorRT Mnist数字识别使用示例 中主要是用TensorRT提供的NvCaffeParser来将Caffe中的model转换成TensorRT中特有的模型结构。其中NvCaffeParser是TensorRT封装好的一个用以解析Caffe模型的工具 （高层的API），同样的还有NvUffPaser用于解析TensorFlow的pb模型，NvO...
从零开始 TensorRT（6）C++ 篇：原生 API 构建网络
秋山丶雪绪的博客
02-23 1366
而在对示例进行简化时，有些难以确认 API 属于哪个导入的文件。日志记录器 Logger 在构建 TensorRT 部分是必不可少的，并且不像在 Python 中简单的使用。总而言之，感觉在 C++ 中似乎只能通过教程示例等来确定路径、文件、API 等的对应关系。的是头文件，头文件中一般只有声明，还需要包含实现的库文件。对应，C++ 和 Python 中使用的 API 大同小异，流程也基本一致，因此不再对。省略命名空间后，直接阅读代码更加难以得知 API 的归属。，需要导入的文件却有所不同。
c++导入TensorRT的C++ API ubuntu
03-15
<think>好的，我现在需要帮助用户在Ubuntu系统上通过C++导入TensorRT的C++ API。首先，我得回顾一下用户提供的引用内容，看看有没有相关的步骤或者常见问题。 根据引用[1]，安装TensorRT需要先安装CUDA和cuDNN，然后通过pip安装。但用户提到的是C++部署，引用[2]指出在C++中使用TensorRT需要配置头文件和依赖库，特别是cuda_runtime.h和相关的库路径。这可能涉及到环境变量的设置，比如LD_LIBRARY_PATH。 用户的问题是在Ubuntu上使用C++导入TensorRT的API，所以可能需要从源码或deb包安装TensorRT，而不仅仅是pip安装Python版本。引用[5]提到下载适配CUDA版本的TensorRT安装包，解压并安装whl文件，但这里用户需要的是C++库，可能需要安装对应的.deb包或者tar文件。 安装CUDA的部分可以参考引用[4]，使用runfile安装CUDA 11.0.3。但需要确认TensorRT版本是否兼容用户安装的CUDA版本。例如，如果用户安装了CUDA 11.0，可能需要TensorRT 7.x或8.x，具体要看官方文档。 引用[5]还提到安装过程中遇到的问题，比如onnx-graphsurgeon的问题，通过更新pip解决。但C++部署可能不需要这部分，除非用户用到ONNX转换工具。 接下来，步骤可能包括： 1. 安装CUDA和cuDNN（根据TensorRT版本要求） 2. 下载并安装TensorRT的.deb或tar包 3. 配置CMakeLists.txt，包含TensorRT的头文件和链接库 4. 设置环境变量，如LD_LIBRARY_PATH指向TensorRT的库目录 5. 测试一个简单的C++程序，确保能正确调用TensorRT API 需要注意的问题可能包括版本兼容性，例如CUDA、cuDNN和TensorRT的版本是否匹配。例如，TensorRT 7.2.3可能要求CUDA 11.0，而用户安装的CUDA版本是否符合要求？ 另外，在CMake配置中，需要正确指定TensorRT的路径。如果通过deb包安装，可能默认安装在/usr/include和/usr/lib/x86_64-linux-gnu，而如果是tar包解压，可能需要手动指定路径。 用户可能在编译时遇到找不到头文件或链接错误，这时候需要检查include路径和链接库是否正确。例如，在CMake中添加include_directories和link_directories，以及target_link_libraries添加nvinfer等库。 可能还需要安装其他依赖，如libnvinfer-dev，具体取决于安装方式。如果用户通过tar包安装，可能需要将库文件复制到系统路径，或者设置LD_LIBRARY_PATH。 最后，测试部分可以参考引用[5]中的测试步骤，编译一个简单的TensorRT程序，比如创建Logger对象，确保能正常运行。</think>以下是在 Ubuntu 系统中通过 C++ 导入 TensorRT C++ API 的步骤指南： --- ### **1. 安装依赖环境** #### 1.1 安装 CUDA 和 cuDNN - **CUDA 安装** 根据 TensorRT 版本选择适配的 CUDA 版本（例如 TensorRT 7.x 对应 CUDA 11.0）[^4]。 使用以下命令安装 CUDA： ```bash wget https://developer.download.nvidia.com/compute/cuda/11.0.3/local_installers/cuda_11.0.3_450.51.06_linux.run sudo sh cuda_11.0.3_450.51.06_linux.run ``` - **cuDNN 安装** 从 NVIDIA 官网下载与 CUDA 版本匹配的 cuDNN 包，解压后复制文件到 CUDA 目录： ```bash sudo cp cudnn/include/* /usr/local/cuda/include/ sudo cp cudnn/lib64/* /usr/local/cuda/lib64/ ``` #### 1.2 安装 TensorRT - **下载 TensorRT 安装包** 从 NVIDIA 官网下载与 CUDA 版本匹配的 TensorRT 的 `.tar` 或 `.deb` 包（例如 `TensorRT-7.2.3.4.Ubuntu-18.04.x86_64-gnu.cuda-11.0.cudnn8.1.tar.gz`）[^5]。 - **安装 TensorRT** 若使用 `.tar` 包： ```bash tar -xzvf TensorRT-7.2.3.4.Ubuntu-18.04.x86_64-gnu.cuda-11.0.cudnn8.1.tar.gz export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/TensorRT/lib ``` --- ### **2. 配置 C++ 项目** #### 2.1 设置 CMakeLists.txt 在项目的 `CMakeLists.txt` 中添加 TensorRT 的头文件和库路径： ```cmake cmake_minimum_required(VERSION 3.10) project(tensorrt_demo) # 添加 TensorRT 头文件路径 include_directories(/path/to/TensorRT/include) # 添加 TensorRT 库路径 link_directories(/path/to/TensorRT/lib) add_executable(demo main.cpp) # 链接 TensorRT 核心库 target_link_libraries(demo nvinfer nvinfer_plugin) ``` #### 2.2 环境变量配置 在 `~/.bashrc` 中添加库路径： ```bash export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/TensorRT/lib ``` --- ### **3. 编写测试代码** 创建 `main.cpp` 测试 TensorRT API： ```cpp #include <NvInfer.h> #include <iostream> using namespace nvinfer1; int main() { Logger logger; // TensorRT 日志类 IBuilder* builder = createInferBuilder(logger); std::cout << "TensorRT C++ API 导入成功！" << std::endl; builder->destroy(); return 0; } ``` #### 编译与运行 ```bash mkdir build && cd build cmake .. make ./demo ``` --- ### **常见问题解决** 1. **头文件缺失** 检查 `CMakeLists.txt` 中的 `include_directories` 路径是否正确。 2. **库链接失败** 确认 `LD_LIBRARY_PATH` 包含 TensorRT 的库路径[^2]。 3. **版本不兼容** 确保 CUDA、cuDNN 和 TensorRT 版本严格匹配[^5]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

csdddn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值