使用tensorrt遇到的一些坑

1. 将tensorrt从6.0.1.5升级到7.1.0.0后遇到的问题：

报错：Assertion failed: !_importer_ctx.network()->hasImplicitBatchDimension() && "This version of th ONNX parser only supports TensorRT INetworkDefinitions with an explicit batch dimension. Please ensure the network was created using the EXPLICT_BATCH NetworkDefinitionCreationFlag"

情况描述：

我的电脑使用的是tensorrt6.0.1.5，按照其中sample代码sampleOnnxMNIST.cpp，整理了一个读取onnx模型进行分类的程序，然后将代码移植到硬件中，硬件中的tensorrt版本是7.1，结果报错如上。我调试代码，把错误定位到

auto parsed = parser->parseFromFile()语句

参考网址：

https://blog.youkuaiyun.com/tiatiatiatia/article/details/106880488

这篇博客比较长，开始没注意到，后来经过YJY同学的提醒才发现，有用的位置在：

这个参考网址遇到的错误与我遇到的相似，按照这个网址更改我没有成功，但是提供了很重要的思路。我使用BeyondCompare比较了tensorrt7.1和tensorrt6.0版本的sampleOnnxMNIST.cpp

结果：

不同的地方还是挺多的，我将我的代码按照差异全部更改后仍然报错，指示samplesCommon::BufferManager buffers()函数调用错误。我又将tensorrt中common中的头文件更换，成功了。

真是挺坑的，搜索的时候没有啥结果，查了很长时间。这个BUG能解决要感谢学生YJY，提供了解决思路和网址

 

2. 关于使用engine文件遇到的问题：

报错：Cuda failure:77 

情况描述：

做人脸识别时候使用的一个github上开源的一个项目：

https://github.com/nwesem/mtcnn_facenet_cpp_tensorRT

算法上人脸检测使用了mtcnn算法，人脸识别使用了facenet算法，算是人脸识别从理论到应用比较完成的一个工程了。

当我将工程运行成功之后，我想修改输入图像的尺寸，修改结果如下图所示，不是检测不准就是报错。

参考网址：

无

结果：

通过不断地测试，最后发现问题出在MTCNN中生成的engine文件上，MTCNN使用了图像金字塔，MTCNN具体的算法理论大家可以在网上自己搜一下，这个位置不做过多的讲解。当生成engine文件时，MTCNN算法会根据图像金字塔的宽和高，对应生成engine文件。当修改输入尺寸时，图像金字塔尺寸发生变化，文件夹中存在之前参数生成的engine文件时，程序只会调用之前参数生成的engine文件而不会重新生成，旧engine文件对应参数与新生成的图像金字塔参数并不匹配因此产生异常。

engine这个文件还是挺重要的，个人理解tensorrt会将各种不同的模型文件，例如：tensorflow生成的pb文件，pytorch生成的pth文件，onnx文件等等，转换为tensorrt使用的engine文件，然后使用engine文件进行推理。

tensorrt官网上专门有一句话说是变换环境之后engine文件需要重新生成，不然会报错：

不知道tensorrt说明文档有没有中文的，看着真是有些太费事了，一些小地方不吃点苦头真是注意不到。

未完待续