部署tensorRT时，解决可能出现的问题。

最新推荐文章于 2025-05-07 15:03:12 发布
最新推荐文章于 2025-05-07 15:03:12 发布
阅读量3.9k 收藏 18
点赞数 1
分类专栏： TensorRT学习总结 文章标签： TensorRT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41375609/article/details/109972482
版权
在部署TensorRT时，可能会遇到找不到NvInfer.h文件或-nvinfer链接错误的问题。这通常发生在使用非root权限安装zip或tar版本的TensorRT，并尝试编译TensorRTX库时。解决方案是修改CMakeLists.txt文件，注释掉系统TensorRT头文件路径，添加正确的路径。另外，当遇到ImportError: libcudnn.so.8找不到共享对象文件时，可能是CUDA和cuDNN版本不匹配或环境配置问题，目前博主仍在寻找解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题1：NvInfer.h: No such file or directory 或者/usr/bin/ld:cannot find -lnvinfer

在这里插入图片描述
背景：
首先：这个问题的出现的前提是，你安装的tensorRT是zip或者tar版本，不需要root权限。
其次：出现这个问题是在使用tensorrtx github库时候，跑lenet的demo的时候出现的。使用make编译的时候报的错。
在github的tensorrtx/tutorials/faq.md中说过如何解决这个问题：
在这里插入图片描述
然后按照说明的改cmakelist.txt文件就行。改动如下：
将下面两行注释掉，这两个指向的是系统环境下tensorrt的那几个头文件的位置。

# tensorrt
include_directories(/usr/include/x86_64-linux-g
最低0.47元/天 解锁文章
ImportError: libcudnn.so.8: cannot open shared object file: No such file or directory
Activewaste
11-22 9374
csdn了好几天，都没有这个问题的解决方法，我来占个坑，等我解决了再来补充。 当然如果有大佬知道怎么解决，还望告知一下，我已经要秃了…… 背景： 最近在部署tensorRT，然后找了教程进行安装部署。 cuda是10.2.89 ubuntu是16.04 cudnn是7.65 然后下载了对应的tar版本的tensorRT解压版。 然后解压，然后添加环境，然后install tensorrt啊，然后uff啊…… 然后然后，明明就这么简单的几个命令，居然一致出bug。 问题： 我在根目录下 ，进入python
libcudnn.so.6
08-02
cudnn-8.0-linux-x64-v6.0.tgz
/usr/bin/ld: cannot find -lcudnn
qq_31384217的博客
09-08 411
usr/bin/ld: cannot find -lcudnn 报这个错误,就用下面的解决。环境遍历都配置好了, 还是报这个错误。
Tensorrt7.2.1安装问题libcudnn.so.8: cannot open shared object file: No such file or directory
dragonfly91的博客
12-18 8651
最近安装TensorRT7.2.1，cuda版本10.2，cudnn8.02，按照官网教程安装完成之后，import tensorrt的时候遇到问题。 ImportError: libcudnn.so.8: cannot open shared object file: No such file or directory 我的cuda是做了一个软链接，软链接地址在/usr/local/cuda下，我首先将/usr/local/cuda/lib64的路径，添加到.bashrc里面，即 export LD
Could not load library libcudnn_cnn_infer.so .8. Error: libnvrtc.so: cannot open shared object file:
最新发布
m0_74413554的博客
05-07 260
参考： https://blog.51cto.com/u_15962038/12144356。(系统本身就有，然后pip的时候又安装了)卸载掉有cu118的。
tensorRT的完整安装以及常见错误 export failure: [WinError 127] 找不到指定的程序。
zhuguiqin1的专栏
05-06 4447
我们需要把D:\tensorrt\TensorRT-8.6.1.6\lib对应的目录放到window环境变量即可。版本，安装完成tensorrt以后再pip install python对应的whl文件。在python中执行import tensorrt as trt代码会出现如下错误。
TensorRT ubuntu18.04 安装过程记录
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
07-29 3873
.
算法部署-使用TensorRT+Cpp部署BiSeNetV1+BiSeNetV2算法-优质算法部署项目实战.zip
10-20
随着深度学习模型变得越来越复杂，如何高效地在边缘设备上部署这些模型，以实现实时的推理（inference）功能，成为了一个亟待解决的问题。在这个背景下，TensorRT作为一个深度学习推理加速器应运而生，它能够帮助...
算法部署-使用TensorRT部署FastBEV算法-优质算法部署项目实战.zip
10-20
随着深度学习技术的发展，算法部署成为连接研究与实际应用的关键环节。...通过实战案例的演练，可以深刻理解TensorRT工具在实际部署中的重要作用，并且学会如何解决实际部署过程中遇到的各类问题。
算法部署-使用TensorRT部署RTMPose人体姿态估计算法-优质算法部署项目实战.zip
10-20
这包括模型的导出、转换、校准和序列化等步骤，以及如何解决在过程中可能遇到的问题。 此外，项目还涉及到了实验验证部分。在此部分，通过对比优化前后的模型性能，如推理速度、准确率和资源消耗等指标，来证明...
算法部署-基于ROS+TensorRT+Cpp部署YOLOv9目标检测算法.zip
10-18
本套件提供了基于ROS（Robot Operating System）、TensorRT以及C++的YOLOv9目标检测算法部署解决方案，旨在实现高性能、实时性强的目标检测。 ROS是一个广泛应用于机器人领域的开源元操作系统，它提供了一系列工具...
Linux动态库常见问题之-“cannot open shared object file No such file or directory“的解决办法
热门推荐
飞翔de刺猬
02-25 11万+
Linux编写程序时，会经常的接触动态库，而在程序运行时可能会遇到类似于:libxxx.so cannot open shared object file No such file or directory的问题，这个代表什么含义，该怎么解决呢？ 含义 这个问题代表的含义是，可执行程序在加载libxxx.so库时，找不到该库。至于找不到的情况分为两种:系统里根本不存在libxxx.so库；libx...
ubuntu Caffe 安装教程
佳梦作快马 诗酒趁年华
03-22 496
安装详细教程 Ubuntu Caffe 错误解决： ICV: Downloading ippicv_linux_20151201.tgz 超时 解决方法 caffe 编译中出现的错误——fatal error: hdf5.h: 没有那个文件或目录 libcudart.so.8.0: cannot open shared object file: No such file or...
OSError: libcudart.so.8.0: cannot open shared object file: No such file or directory
a694262054的博客
04-10 2558
OSError: libcudart.so.8.0: cannot open shared object file: No such file or directory错误说明：在ubuntu16.04-64-bit环境下，配置完MXNet后，在anaconda中导入mxnet库出现如题错误；解...
libcudart.so.8.0: cannot open shared object file: No such file or directory
m0_67441224的博客
11-22 987
运行报错 tensorflow.python.framework.errors_impl.NotFoundError: libcudart.so.8.0: cannot open shared object file: No such file or directory
记录TensorRT使用时发现的问题和解决方法
weixin_42479327的博客
02-06 6018
TensorRT常见使用问题
cannot open shared object file: No such file or directory
蜗牛的专栏
03-31 5820
在一台Linux上编译库文件和执行文件后，放到另一台Linux机器上，执行报错，显示： cannot open shared object file: No such file or directory。首先确认执行文件（test）放在对应的环境变量bin和库文件（libtest.so）放在了对应的环境变量lib下。假设环境变量$(HOME)为 /root ，则执行文件（test）放在 /root/bin/目录下，库文件（libtest.so）放在 /root/lib/目录下。
TensorFlow：ImportError: libcudnn.so.*: cannot open shared object file: No such file or dictionary
Python学习记录
07-20 314
背景：Anaconda下安装的tensorflow完成后，import tensorflow报错： ImportError: libcudnn.so.6: cannot open shared object file: No such file or directory   解决办法：  先到官网注册并下载相应的cudnn库（https://developer.nvidia.com/c...
TensorRT部署时算力不匹配解决方法
03-27
<think>好的，我现在需要帮助用户解决TensorRT部署时遇到的算力不匹配问题。首先，我要理解算力不匹配具体指的是什么。通常，算力不匹配可能是指TensorRT生成的引擎在目标设备的GPU上无法运行，因为该GPU的计算能力（Compute Capability）不支持引擎中使用的某些层或操作。或者，可能是在构建引擎时选择的计算架构与目标设备的GPU不兼容。 接下来，我需要回顾用户提供的引用内容，看看是否有相关的解决方案。引用[3]提到，导出ONNX时设置动态batch需要注意使用trtexec转换时的shape参数，以及使用FP16、INT8等低精度提升效率。这可能与算力优化有关。引用[5]提到了编译和安装TensorRT时的步骤，可能涉及到环境配置的问题。 可能的解决步骤包括： 1. **确认GPU计算能力**：用户需要检查目标GPU的计算能力，并确保TensorRT在构建引擎时指定了正确的计算架构。例如，如果目标GPU是Ampere架构（如A100），则需要使用支持SM 8.0的TensorRT版本。 2. **构建引擎时指定正确的计算架构**：使用trtexec或TensorRT API时，通过参数如`--minShapes`、`--optShapes`、`--maxShapes`来设置动态shape，同时确保使用`--fp16`或`--int8`等参数时，目标GPU支持这些精度。 3. **模型优化和精度调整**：如引用[3]所述，使用低精度（FP16/INT8）可以提升效率，但需要确保GPU支持这些精度。例如，较旧的GPU可能不支持INT8，导致算力不匹配。 4. **检查TensorRT版本与GPU驱动的兼容性**：引用[2]提到环境准备时需要安装匹配版本的CUDA、cuDNN和TensorRT。如果版本不匹配，可能导致算力不支持的问题。 5. **动态batch处理**：如果模型导出时设置了动态batch，转换时需正确设置shape参数，否则可能导致引擎无法适配不同batch size的情况，进而引发算力问题。 6. **使用兼容的层实现**：某些层可能在特定计算能力下不可用，需要替换为兼容的层或调整模型结构。 在回答时，需要将这些步骤结构化，并引用用户提供的资料中的相关内容，如引用[3]关于动态batch和低精度的部分，引用[2]关于环境版本匹配的内容。同时，用户可能需要具体操作指导，如如何检查计算能力，如何设置trtexec参数等。 最后，生成相关问题需要考虑用户可能的后续疑问，如如何检查GPU计算能力、如何确定TensorRT版本是否匹配、低精度优化的具体步骤等。</think>### TensorRT部署算力不匹配的解决方案 #### 1. **确认GPU计算能力与TensorRT版本匹配** - **问题根源**：不同GPU架构（如Pascal、Volta、Ampere）对应不同的计算能力（如SM 6.1、SM 7.0、SM 8.0），TensorRT生成的引擎需适配目标GPU的算力。 - **操作步骤**： 1. 使用`nvidia-smi`查看GPU型号，并通过[NVIDIA官方文档](https://developer.nvidia.com/cuda-gpus)查询其计算能力。 2. 在构建TensorRT引擎时，通过API（如`builder_config.set_flag(trt.BuilderFlag.STRICT_TYPES)`）或`trtexec`参数（如`--fp16`）指定支持的计算架构[^3]。 ```bash trtexec --onnx=model.onnx --saveEngine=model.engine \ --minShapes=input:1x3x224x224 --optShapes=input:4x3x224x224 --maxShapes=input:16x3x224x224 ``` - **关键点**：若目标GPU不支持FP16/INT8，需在转换时禁用相关选项。 #### 2. **动态Batch与Shape适配** - **问题场景**：模型导出时设置了动态Batch，但转换时未正确指定Shape范围。 - **解决方案**： - 在`trtexec`中显式定义`--minShapes`、`--optShapes`、`--maxShapes`参数[^3]。 - 在代码中通过`NetworkDefinition`的`addInput`接口定义动态维度： ```cpp auto input = network->addInput("input", DataType::kFLOAT, Dims4{-1, 3, 224, 224}); ``` #### 3. **精度优化与硬件兼容性** - **低精度支持**： - FP16：需GPU支持SM 5.3及以上（如Turing/Ampere架构）。 - INT8：需GPU支持SM 6.1及以上，且需校准数据集。 - **操作建议**： - 优先尝试FP16模式，若推理失败回退到FP32。 - 使用TensorRT的校准工具生成INT8校准表（需量化感知训练或后训练量化）。 #### 4. **环境版本一致性验证** - **关键依赖**：确保CUDA、cuDNN、TensorRT版本与GPU驱动严格匹配。例如： - Tesla T4（SM 7.5）需CUDA 10.0+，TensorRT 7.0+。 - A100（SM 8.0）需CUDA 11.0+，TensorRT 8.0+[^2][^5]。 - **验证方法**： ```bash cat /usr/local/cuda/version.txt # 查看CUDA版本 dpkg -l | grep nvinfer # 查看TensorRT版本 ``` #### 5. **模型层替换与优化** - **不兼容层处理**：某些算子（如动态Slice、自定义Plugin）可能不支持特定计算架构。 - **解决方法**： - 替换为TensorRT原生支持的层（如用`IShuffleLayer`替代复杂Reshape）。 - 使用TensorRT的`IPluginV2`接口实现自定义算子。 --- ###
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值