tensorRT是基于CUDA的加速库,安装trnsorrt首先要确保已安装cuda,并知道cuda的版本。如果已安装pytorch+cu1**,就不需要再单独安装cuda了,否则需先安装cuda。
tensorRT安装分三部分:(-cu11/-cu12:指定cuda版本)(先指定源:https://pypi.nvidia.com)
pip install tensorrt-libs -i https://pypi.nvidia.com
pip install tensorrt-bindings -i https://pypi.nvidia.com
pip install tensorrt-cu11 -i https://pypi.nvidia.com
如果你只是使用 TensorRT 来运行预构建的兼容版本的引擎,那么可以在不安装常规 TensorRT 组件包的情况下安装这些组件包:
# 安装精简版
pip install tensorrt-lean-cu11 -i https://pypi.nvidia.com
# 安装调度版
pip install tensorrt-dispatch-cu11 -i https://pypi.nvidia.com
检验tensorrt是否正确安装:生成一个记录器
import tensorrt
print(tensorrt.__version__)
assert tensorrt.Builder(tensorrt.Logger())
检验tensorrt-lean、tensorrt-dispatch是否正确安装
import tensorrt_lean as trt
print(trt.__version__)
assert trt.Runtime(trt.Logger())
import tensorrt_dispatch as trt
print(trt.__version__)
assert trt.Runtime(trt.Logger())