模型集成到Deepstream里后为何识别效果变差以及如何从Deepstream Infer Plugin里导出预处理过的用于模型推理的图片数据并使用TensorRT进行推理测试

最新推荐文章于 2024-07-12 11:42:53 发布

原创

最新推荐文章于 2024-07-12 11:42:53 发布 · 1.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #Deepstream #TensorRT #fstream #opencv

博客详细分析了在Deepstream中集成模型进行视频识别时，推理效果下降的原因，指出问题根源在于Deepstream的gstnvinfer_meta_utils.cpp文件中处理边界bbox的错误。解决方案包括修改Deepstream源码或在定制接口中处理，以及通过对比预处理数据和模型输出来排查问题。此外，还提供了将GPU预处理改为CPU处理的方法。

在将模型集成到Deepstream Infer Plugin过程中可能会碰到这样那样的问题，其中一个困扰人的问题就是一个模型集成到Deepstream Infer Plugin后，模型推理时的效果下降，使用onnx格式导出模型使用TensorRT解析生成engine后推理精度下降这个问题我报过case但是一直没有得到解决，这里说的是另一个方式使用模型时遇到的问题，就是模型使用TensorRT的API实现后集成到Deepstream Infer Plugin里比不使用Deepstream而是直接使用python调用原始模型或者使用C++调用TensorRT API实现的模型的效果要差得不少，两种方式使用同样的视频或图片和同样的模型engine文件，模型在Deepstream Infer Plugin里的表现要差，经过很多次的调查和实验，可以确定这个问题和模型本身的基于TensorRT API实现没有关系，和数据预处理也没有关系，最后发现这个问题的根本原因在Deepstream的gstnvinfer_meta_utils.cpp里处理不正确，这个bug即使在最新版的Deepstream5.1中都仍然存在:

void

attach_metadata_detector (GstNvInfer * nvinfer, GstMiniObject * tensor_out_object,

    GstNvInferFrame & frame, NvDsInferDetectionOutput & detection_output, float segmentationThreshold)

{

   ...

    obj.left /= frame.scale_ratio_x;

    obj.top /= frame.scale_ratio_y;

    obj.width /= frame.scale_ratio_x;

    obj.height /= frame.scale_ratio_y;

   ...

 

   if (obj.top + obj.height >

        (frame.input_surf_params->height - filter_params.roiBottomOffset))

   continue;

当把bbox缩放到原始图片下的坐标后检测到bbox坐标越界时，它不是做安全转换而是静默地把这个bbox丢掉了！这样处理是明显不正确的，按照一般做法应该是对越界的bbox坐标做安全转换，直接丢掉bbox显然会降低召回率，造成bbox触及边界的物体识别非常不稳定！造成的直接效果就是在Nano之类的板子上使用Deepstream Infer Plugin集成模型后进行视频识别的效果比单独使用python或者C++直接调用TensorRT API来使用模型对同一视频进行识别的效果要差不少。

把上述代码改成这样就可以解决问题：

if (obj.top + obj.height >

        (frame.input_surf_params->height - filter_params.roiBottomOffset))

    obj.height = frame.input_surf_params->height - filter_params.roiBottomOffset - obj.top;

如果不想修改Deepstream的代码造成需要自己维护Deepstream特定版本，也可以在定制bbox解析接口函数里增加这个检查和转换，不过得根据缩放前后的图片的大小把代码写死，因为解析bbox的定制接口函数的入参里没有scale_ratio_x和scale_ratio_y，所以没法做到灵活，当然缩放后的尺寸大小参数是有的(networkInfo.height,networkInfo.width)，缩放前的原始帧图片大小就只能使用配置文件方式读入了，即便这样显然还是不灵活，视频的图像尺寸有变化时都得记得修改这里，不然解析bbox的定制接口函数这里的检查和转换没起到对放大后坐标的提前检查把关作用的话，又会出现Deepstream把触及边界的bbox丢掉造成识别效果下降。

这种问题大致可以分成三个方面排查。

一是模型网络的实现本身是否有问题，例如用于推理的cuda stream要保持自始至终使用同一个，并且最好自己创建而不是使用default cuda stream，使用python或C++代码调用TensorRT API测试模型的效果确认模型的输出和官方原始版本的测试结果一样，这部分工作和你使用或实现的模型网络有关，所以也不好说太具体的步骤细节。

排除了模型网络实现本身的问题之后，就是进行第二个方面的调查，就是比较Deepstr

最低0.47元/天解锁文章

11 条评论

shenshen927 2023.05.19
博主您好，您的模型是yolov5么？我用的deepstream6.0.1，也发生了采用pt模型效果很好，每帧都能正确检出，到了deepstream运行时，一半以上的帧检测不出来。但是更换其它视频时，也有基本都能正确检出的情况出现！你遇到的情况是这样么？还是说你随便找一段视频，deepstream的效果都和直接pt模型或c++调用的onnx转过来的tensorrt模型的效果相差很大？？
- shenshen927回复Arnold-FY-Chen 2023.06.20
  不同的视频，目标大小差异不大，都是同种类别，但出现的位置肯定不同呀。
- Arnold-FY-Chen回复shenshen927 2023.06.03
  我的意思是："更换其它视频时，也有基本都能正确检出的情况出现"，这里效果好的其他视频和你检测效果不好的视频是否有分辨率大小和视频里目标出现的位置的差异？
- shenshen927回复Arnold-FY-Chen 2023.06.02
  在deepstream里面检测的视频和直接pt检测采用的都是同一段视频。目标有中间的也有靠边的，图像预处理也相同。
- Arnold-FY-Chen回复shenshen927 2023.05.25
  你在deepstream里识别效果很差的视频的W x H 分辨率和其他识别效果还可以的视频的一样吗？要检测的目标靠边不？图像的预处理过程是一样的么？

沙皮狗de忧伤 2021.10.21
感谢博主的分享。我按照您写的代码来导出Deepstream Infer Plugin预处理过的图片数据时，发现保存下来的图片数据颜色通道转换存在问题，保存的图片类似马赛克的样子。请教一下博主有遇到过类似的问题吗。谢谢！望回复~
- 沙皮狗de忧伤回复Arnold-FY-Chen 2021.10.25
  好的，我再尝试一下，谢谢
- Arnold-FY-Chen回复沙皮狗de忧伤 2021.10.23
  奇怪，那你这样修改一下改试试: cv::Mat fimg(m_NetworkInfo.height, m_NetworkInfo.width, CV_32FC3, tf, m_NetworkInfo.width*3 ); cv::Mat img(m_NetworkInfo.height, m_NetworkInfo.width, CV_8UC3); fimg.convertTo(img, CV_8UC3); static g_idx = 0; cv::imwrite("input"+std::to_string(g_idx++)+".jpg",img);
- 沙皮狗de忧伤回复沙皮狗de忧伤 2021.10.22
  [code=cpp] ... assert(m_BackendContext && backendBuffer); assert(m_InferStream && m_InputConsumedEvent && m_InferCompleteEvent); float* outPtr = (float*)m_BindingBuffers[INPUT_LAYER_INDEX]; int size = 3*m_NetworkInfo.height*m_NetworkInfo.width; float* tf = new float[size]; cudaMemcpyAsync(tf, outPtr, size*sizeof(float), cudaMemcpyDeviceToHost,*m_InferStream); for (int p=0; p< size; p++){ tf[p] *= 255; if (tf[p] > 255) tf[p] = 255; if (tf[p] < 0) tf[p] = 0; } cv::Mat img(m_NetworkInfo.height, m_NetworkInfo.width, CV_8UC3, tf, m_NetworkInfo.width*3 ); static g_idx = 0; cv::imwrite("input"+std::to_string(g_idx++)+".jpg",img); [/code] 我用到的是您这个代码部分
- 沙皮狗de忧伤回复Arnold-FY-Chen 2021.10.22
  您好，我这边设置的也是0(config_infer_primary.txt文件中).
- Arnold-FY-Chen回复沙皮狗de忧伤 2021.10.21
  你的infer plugin的配置文件里参数model-color-format设置的什么值呢？我设置的0(RGB)，所以代码里转换时是img.convertTo(img,CV_RGB2BGR);