TensorRT 的功能特性

TensorRT 的功能特性

本节概述了 TensorRT 的功能。本内容适用于所有 TensorRT 用户。

C++ 和 Python API

TensorRT 的 API 提供了 C++ 和 Python 两种语言绑定，功能几乎完全相同。该 API 便于与 Python 数据处理工具包和库（如 NumPy 和 SciPy）进行互操作。C++ API 可能更高效，并且可以更好地满足某些合规性要求，例如在汽车应用中。

注意

Python API 并非适用于所有平台。有关更多信息，请参阅支持矩阵。

编程模型

TensorRT 分两个阶段运行。在第一阶段（通常离线执行），您向 TensorRT 提供模型定义，TensorRT 会针对目标 GPU 对其进行优化。在第二阶段，您使用优化后的模型来运行推理。

构建阶段

TensorRT 构建阶段的最高级接口是 Builder（