Deepstream里如何调用多个模型

最新推荐文章于 2025-10-10 14:40:31 发布
原创 最新推荐文章于 2025-10-10 14:40:31 发布 · 6k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Deepstream #人工智能 #计算机视觉

本文详细介绍了Deepstream如何实现多个模型的并行推理，包括主从模型配置、同步控制及优化。通过分析配置文件、模型调用、内存管理以及同步代码，揭示了在JetsonNano上并行推理可能遇到的性能问题和解决方案，强调了在特定情况下串行调用模型可能优于并行调用。同时，讨论了如何处理模型间协作、视频流复制和跟踪效果的影响因素。

       Deepstream提供了nvinfer plugin供封装调用模型使用, Deepstream的sample代码deepstream app里实现调用多个模型时是针对一主多从的使用方案，也就是一个主模型(primary inference engine)，一个或者多个次要从属模型(secondary inference engine)，因为模型使用前都转换成了TensorRT的engine文件，所以一般叫engine。下面是典型的基于Deepstream的调用多个模型推理的app的结构:

各部分的plugin的功能的简要说明如下:

      Samples里的deepstream-app里使用了四个模型(对应创建了四个nvinfer plugin)，一个主模型(由下图中的左侧的nvinfer plugin负责封装调用)，三个次要模型(由下图中右侧的三个nvinfer plugin负责调用)，主模型用来识别车，三个次要从属模型分别用来识别车的颜色、种类、厂商。

模型文件位于/opt/nvidia/deepstream/deepstream/samples/models/下，主模型和次要从属模型的分工完全是由配置文件来配置的，封装调用它们的nvinfer plugin是相同的，运行deepstream app时指定config文件为/opt/nvidia/deepstream/deepstream/samples/config/deepstream-app/source4_1080p_dec_infer-resnet_tracker_sgie_tiled_display_int8.txt

cd/opt/nvidia/deepstream/deepstream/samples/config/deepstream-app
deepstream-app -c source4_1080p_dec_infer-resnet_tracker_sgie_tiled_display_int8.txt

即可将四个模型跑起来。

四个nvinfer plugin 和tracker plugin以及tee和4个queue element的结构组成如下:

 最左侧的是primary inference engine对应的plugin，挨着的是tracker plugin，再往右边是一个tee element用于视频流的复制分叉，和tee直连的是用于缓冲的4个queue element，上面三个queue element分别连对应的三个secondary inference engine

最低0.47元/天 解锁文章
基于NVIDIA的deepstream进行串行多任务模型开发，DeepStream 多模型组合检测（精）
pvmsmfchcs的博客
09-02 1075
Primary_Detector：作为项目的主检测器，这是用官网案例 Caffe 框架以 ResNet10 网络所训练的 4 类检测器，能检测“Car”、“Bicycle”、“Person”、“Roadsign”四种物件，这个数据可以在目录下的 labels.txt 中找到。Primary_Detector_Nano：将Primary_Detector里的模型，针对 Jetson Nano（含 2GB）的计算资源进行优化的版本。Secondary_CarColor：车子颜色的次级检测器。
NVIDIA的deepstream的并行多模型应用程序(精品)
pvmsmfchcs的博客
09-02 1224
最新发布的2022.8.30发布的新deepstream-6.1.1新特性，NVIDIA的deepstream的并行多模型应用程序
【NVIDIA推出 DeepStream SDK 8 最新版本】
最新发布
weixin_51315141的博客
10-10 286
NVIDIA推出DeepStream SDK 8重大更新，包含全新推理构建器、新一代MaskTracker多目标追踪技术，并支持多摄像头协同3D追踪。该SDK用于构建AI驱动的视频分析应用，适用于智慧城市、医疗、零售等场景。提供技术博客、视频教程和文档资源，帮助开发者快速构建实时视觉检测工作流。DeepStream 8现已在NGC平台开放下载。
gstreamer/deepstream元素与函数
pursue_dreams的博客
11-11 524
作用：用于限制数据流的格式，可以指定所需的视频格式（如分辨率、帧率、像素格式等）。功能：在数据流传递过程中，确保只有符合特定格式要求的数据能够通过。用途：当你需要确保数据流的格式符合特定要求时，比如将特定分辨率或帧率的视频数据传递给下游的元素时，可以使用capsfilter来进行格式筛选。作用：用于进行NVIDIA GPU硬件加速的视频格式转换和处理。功能：在支持NVIDIA GPU 的环境下，可以利用硬件加速功能来提高视频格式转换的性能和效率。
Deepstream 并行模型推理 - Python
weixin_42202176的博客
03-29 1289
之前的应用都是一个管道一个app，就算有多个模型推理的应用需求也是采用的串行方式。然而一个pipeline一个应用还是太过于死板。正好看到英伟达官方退出了单pipeline并行模型推理的例子（网上python相关的代码基本没有（谷歌也搜不到），就提前踩了一下坑。
DeepStream--测试lpdnet车牌检测模型
evsqiezi
11-21 428
模型格式已经从加密的etlt格式变为onnx格式。这个模型用于从汽车图片上检测出车牌位置，模型有两个，一个用于美国车，一个用于中国车。
deepstream框架下多路源模型部署参考步骤
Rachel321的专栏
02-20 2056
deepstream框架下多路源分布式部署运行，以SCRFD人脸检测模型为例的参考步骤
使用 NVIDIA DeepStream 进行多流 YOLO 对象检测
iCloudEnd的博客
12-07 524
使用多流进行对象检测对于安全摄像头、交通管理、工业自动化、人员监控等任务非常重要。对象检测是一项计算量很大的任务，因此资源优化对于应用程序来说非常重要。NVIDIA DeepStream SDK功能强大，适用于 AI 任务，并由 NVIDIA 工程师进行了完美优化。在本文中，我将向您展示如何使用 DeepStream SDK 使用自定义 YOLO 模型对多个流执行检测。根据您的 GPU，您可以同时对 30 多个视频执行检测。
模型集成到Deepstream里后为何识别效果变差以及如何从Deepstream Infer Plugin里导出预处理过的用于模型推理的图片数据并使用TensorRT进行推理测试
XCCCCZ的博客
09-04 1483
在将模型集成到Deepstream Infer Plugin过程中可能会碰到这样那样的问题，其中一个困扰人的问题就是一个模型集成到Deepstream Infer Plugin后，模型推理时的精度下降，比不使用Deepstream而是直接使用python或者C++调用原始模型或者使用TensorRT API实现的模型的精度要差，两种方式使用同样的视频或图片和同样的模型engine文件，模型在Deepstream Infer Plugin里的表现要差一些，经过很多次的调查和实验，可以确定这个问题和...
Jetson Nano 上的极限性能：YOLOv5 INT8 量化与多线程 DeepStream 部署人车跟踪模型小白教程
LXY_LOVE36的博客
08-19 304
摘要 本教程详细介绍了如何在Jetson Nano上通过INT8量化和多线程技术优化YOLOv5目标检测模型的性能。文章首先分析了Jetson Nano的性能瓶颈，包括GPU算力限制、内存带宽等问题，并提出了INT8量化和多线程处理两种优化方案。INT8量化通过降低模型精度换取计算速度和内存效率的提升，而多线程则用于处理多路视频流和解耦业务逻辑。教程深入解析了YOLOv5的后处理机制，解释了为何需要替换检测头并使用TensorRT自定义插件，并提供了详细的解码过程说明。通过本教程，读者可以掌握在资源受限的边
NVIDIA DeepStream全面开发指南
全世界的博客
05-29 6410
DeepStream是NVIDIA提供的一个流分析工具包，专为构建AI驱动的多传感器处理、视频、图像分析应用而设计。它利用NVIDIA的GPU加速技术，提供从边缘到云的高性能视频分析能力。DeepStream SDK支持多种数据源，包括摄像头、视频文件和实时流媒体，使其成为智能城市、零售分析、工业自动化和医疗成像等领域的理想选择。DeepStream的核心在于其能够处理大量数据流，并利用深度学习模型进行实时分析。它不仅支持传统的计算机视觉任务，如物体检测和分类，还支持更复杂的任务，如行为识别和场景理解。
Nvidia Deepstream极致细节：1. Deepstream Python 官方案例1：deepstream_test_1
破浪会有时的博客
01-20 7673
此博客将详细解释如何使用Deepstream中的元素搭建起一套完整的简单的机器视觉流程，包括`h264parse`, `nvv4l2decoder`, `nvstreammux`, `nvinfer`, `nvvideoconvert`, `nvdsosd`, `nvegltransform`, `nveglglessink`。当我们成功运行了这个Python文件后，我们会在屏幕上看见经过识别后的一段视频。此章节将详细对`deepstream_test_1.py`作解读。可能会较为繁琐。但此案例后，其他的一
Nvidia Deepstream Python Queue 多线程操作
破浪会有时的博客
06-27 978
本文介绍Queue在Deepstream/Gstreamer中的作用。
DeepStream-test1-python-demo样例
charles_zhang_的博客
03-16 1165
基于知乎博客解释完成： https://zhuanlan.zhihu.com/p/359079725 test1样例的整体流程： 首先数据源元件(filesrc)负责从磁盘上读取视频数据，解析器元件(h264parse)负责对数据进行解析，编码器元件(nvv4l2decoder)负责对数据进行解码，流多路复用器元件(nvstreammux)负责批处理帧以实现最佳推理性能，推理元件(nvinfer)负责实现加速推理，转换器元件(nvvideoconvert)负责将数据格式转换为输出显示支持的格式，可视化元件(
【亲测免费】 推荐：DeepStream-Yolo —— 高效的YOLO模型集成框架
gitblog_00043的博客
05-14 1072
在人工智能和计算机视觉领域，高效的实时目标检测是核心任务之一。NVIDIA的DeepStream SDK提供了一个强大的平台，用于构建高性能的视频分析应用。现在，借助[DeepStream-Yolo](https://github.com/marcoslucianops/DeepStream-Yolo)，你可以更轻松地将流行的YOLO系列模型整合到你的DeepStream应用中。 ## 1、项目...
通过clion开发工具在线调试deepstream工程，同时加载yolov5的engine模型，以及如何在deepstream中编写cmakelist编译文件
pvmsmfchcs的博客
10-09 1887
这样作的好处是，我们可以利用gstreamer的pipeline，加载多个模型，将数据流通过tee进行分流，然后同时运行多模型，这样就可以实现模型的并行运行，例如：运行yolov5分类检测的同时，可以运行车道线检测，这样就可以同时加载多个模型，又或者运行yolov5分类检测的同时，运行相机的污染检测，并行模型的好处非常多，利用pipeline的分流机制可以很好的实现。其他说明：用到的IDE是clion，本项目所有用的到代码均开放，包括so库，以及engine生成的代码均可以在我提到的文章链接中找到。
deepstream 样本配置和流
学习、记录、分享
03-19 1877
样本配置和流 包装内容 本节提供有关包括的样本配置和流的信息。 *样本：包含样本配置文件，流和运行样本应用程序的模型的目录。 samples / configs / deepstream-app：参考应用程序的配置文件： source30_1080p_resnet_dec_infer_tiled_display_int8.txt：演示30个具有主要推理功能的流解码。（仅适用于dGPU和Jetson AGX Xavier平台。） source4_1080p_resnet_dec_infer_tiled_
神经网络模型中，通用网络模型和自定义网络模型的区别和联系，以及如何在deepstream中进行开发使用这两种网络模型（精）
pvmsmfchcs的博客
09-27 564
A.通用网络模型和自定义网络模型有哪些B.两种网络模型的区别和联系C.如何在deepstream中进行开发使用1.通用网络模型常用于分类，只做分类任务的话，这种网络结构够用了。2.自定义网络模型基于通用网络模型，增加了检测功能，检测功能具体是指增加了定位相关功能，一般是指左上角坐标，右下角坐标信息。//以下都是自定义网络模型：YOLOV3YOLOV4FasterRCNNSSDDSSDRetinaNet//下面是通用网络模型googlenetsqueezenet。
deepstream插件介绍
weixin_41012399的博客
11-17 975
一级模型的定义方式： primary_detector = gst_element_factory_make ("nvinfer", "primary-infer-engine1"); pgie = gst_element_factory_make ("nvinfer", "primary-nvinference-engine"); 二级模型的定义方式一（完全并列的，一级出来的检测结果都作为这个二级的输入）： sgie1 = gst_element_factory_make ("nvinfer", "se
deepstream部署retinaface模型
07-29
<think>我们正在处理一个关于在NVIDIA DeepStream中部署RetinaFace人脸检测模型的问题。根据提供的引用，RetinaFace是一个高效的人脸检测算法，在WiderFace数据集上表现优异，并且已经在insightface平台上开源。引用中提到了RetinaFace的网络结构，包括使用MobileNet0.25作为主干网络，结合FPN和SSH模块，以及三个头部（ClassHead, BoxHead, LandmarkHead）。此外，在第二个引用中提到了在Jetson AGX上使用TensorRT优化RetinaFace模型，实现了性能提升。 由于DeepStream是一个基于GStreamer的流媒体分析工具包，专门用于构建高性能视频分析应用，它支持TensorRT加速的模型推理。因此，在DeepStream中部署RetinaFace模型需要将RetinaFace模型转换为DeepStream可用的格式（通常是ONNX或直接转换为TensorRT引擎），并编写相应的配置文件。 以下是部署步骤的概述： 1. **模型转换**：将RetinaFace模型转换为ONNX格式，然后使用TensorRT生成优化后的引擎文件。由于RetinaFace原模型是基于MXNet的，我们可以使用官方提供的转换工具或自行编写转换脚本。 2. **创建DeepStream插件**：DeepStream使用自定义的GStreamer插件来处理推理。我们可以利用现有的nvinfer插件（即Gst-nvinfer）来加载TensorRT引擎。需要配置nvinfer插件的参数，包括模型路径、输入输出张量的设置等。 3. **预处理和后处理**：RetinaFace模型需要特定的预处理（如图像归一化、缩放等）和后处理（包括解码边界框、关键点以及应用NMS）。这些可以在DeepStream中通过自定义解析函数（parse function）来实现。DeepStream允许用户编写自己的解析插件，或者使用nvinfer插件内置的功能（如果匹配）。 4. **集成到DeepStream应用中**：将配置好的推理插件集成到DeepStream管道中，并连接其他组件（如解码、预处理、显示等）。 5. **性能优化**：根据引用[2]中的案例，可以使用TensorRT的优化技术，如CBR（卷积-批归一化-ReLU）融合和动态分辨率支持，以提高推理速度。 具体步骤： ### 1. 模型转换 - 从insightface官方仓库获取RetinaFace模型（MXNet格式）。 - 将MXNet模型转换为ONNX格式。可以使用`mxnet-to-onnx`转换工具。 - 使用TensorRT的`trtexec`工具将ONNX模型转换为TensorRT引擎。根据目标平台（如Jetson AGX Xavier）选择合适精度（FP32/FP16/INT8）和优化参数。 ### 2. 配置DeepStream推理插件 - 在DeepStream应用的配置文件中（如`config_infer_primary.txt`），指定转换后的TensorRT引擎文件路径。 - 设置输入图像的格式和大小（RetinaFace通常使用640x640或可变输入大小）。 - 配置输出层的名称和数量，RetinaFace有多个输出（分类、边界框、关键点）。 ### 3. 实现后处理解析函数 - RetinaFace的输出需要解码，包括边界框解码（从默认框偏移量解码为实际坐标）、置信度过滤、关键点解码以及NMS。 - 在DeepStream中，我们可以通过编写自定义的解析函数（称为parse function）来实现。这个函数需要绑定到nvinfer插件上，在推理完成后被调用。 - 解析函数需要按照nvinfer插件的要求编写，通常使用C/C++编写，并编译成共享库。函数接口可参考DeepStream SDK中的示例（如`gst-nvinfer`的示例解析函数）。 ### 4. 构建DeepStream管道 - 使用GStreamer管道描述，将各个组件（源、解码器、转换、推理、渲染等）连接起来。 - 例如： ``` filesrc -> h264parse -> nvv4l2decoder -> nvstreammux -> nvinfer -> nvdsosd -> nveglglessink ``` - 其中，`nvinfer`插件加载我们配置的RetinaFace模型。 ### 5. 性能优化 - 参考引用[2]，使用TensorRT的FP16或INT8量化可以提升速度。在转换引擎时指定精度。 - 利用动态批处理（如果支持）和动态分辨率（如果模型支持）来适应不同输入。 - 在Jetson平台上，使用DeepStream的硬件加速功能。 ### 注意事项： - 由于RetinaFace包含多个输出（分类、框、关键点），在配置nvinfer插件时需要正确指定所有输出层的名称。 - 后处理解析函数需要处理这些输出，并生成符合DeepStream要求的对象检测元数据（NvDsObjectMeta）。 ### 示例解析函数框架： ```c extern "C" bool NvDsInferParseRetinaFace (std::vector<NvDsInferLayerInfo> const &outputLayers, NvDsInferNetworkInfo const &networkInfo, NvDsInferParseDetectionParams const &detectionParams, std::vector<NvDsInferParseObjectInfo> &objectList) { // 1. 从outputLayers中获取三个头部的输出数据 // 2. 解码边界框和关键点（根据RetinaFace的解码规则） // 3. 应用置信度阈值过滤 // 4. 应用NMS（非极大值抑制） // 5. 将检测结果填充到objectList中（包括边界框和关键点） } ``` ### 总结 部署RetinaFace到DeepStream需要模型转换、配置推理插件、实现自定义解析函数以及构建管道。通过TensorRT优化，可以在NVIDIA设备上高效运行。 §§相关问题§§ 1. 如何将MXNet模型转换为ONNX格式？ 2. 在DeepStream中如何编写自定义解析函数？ 3. 如何优化RetinaFace模型在TensorRT上的推理速度？ 4. 在Jetson设备上部署DeepStream应用有哪些注意事项？</think>### 在NVIDIA DeepStream中部署RetinaFace模型的步骤 #### 1. **模型转换与优化** - **MXNet转ONNX** 使用官方`insightface`工具将MXNet模型转换为ONNX格式： ```python from insightface.model_zoo import get_model model = get_model('retinaface_r50_v1') # 或mobilenet0.25版本 model.export('retinaface.onnx') # 导出ONNX ``` - **TensorRT优化** 通过TensorRT生成优化引擎： ```bash trtexec --onnx=retinaface.onnx --fp16 --workspace=2048 --saveEngine=retinaface.engine ``` 关键优化（参考引用[2]）： - 启用FP16精度 - 使用CBR融合（卷积-批归一化-ReLU融合） - 支持动态分辨率输入（`--minShapes=input:1x3x640x640 --optShapes=input:1x3x1080x1920`） #### 2. **DeepStream配置** - **配置文件 (`config_infer_primary.txt`)** 核心参数： ```ini model-engine-file=retinaface.engine batch-size=4 net-scale-factor=0.007843 # 1/127.5 offsets=104;117;123 # BGR均值 output-blob-names=face_rpn_cls_prob_reshape_stride32;face_rpn_bbox_pred_stride32;... # 根据模型输出层命名 parse-bbox-func-name=NvDsInferParseRetinaFace # 自定义解析函数 ``` #### 3. **自定义后处理插件** 需实现以下功能（C/C++）： - **边界框解码**：根据锚点框(anchor)还原坐标 $$ \text{decode\_bbox} = \text{anchor} + \text{pred\_offset} \times 0.1 $$ - **关键点解码**：5个人脸关键点坐标计算 - **NMS处理**：使用`nmsOpticalFlow`消除重叠框（IoU阈值0.4） ```cpp // 示例：后处理函数伪代码 extern "C" bool NvDsInferParseRetinaFace( std::vector<NvDsInferParseObjectInfo>& output, const float* cls_data, // 分类置信度 const float* bbox_data, // 边界框偏移 const float* landmark_data, // 关键点 const NvDsInferNetworkInfo& network_info) { // 1. 遍历所有锚点框 // 2. 应用置信度阈值(>0.8) // 3. 解码边界框和关键点 // 4. 执行NMS } ``` > 编译为`.so`文件并配置在`custom-lib-path`中[^1]。 #### 4. **管道集成** ```bash gst-launch-1.0 filesrc location=video.mp4 ! decodebin ! \ nvstreammux width=1920 height=1080 batch-size=4 ! \ nvinfer config-file-path=config_infer_primary.txt ! \ nvdsosd display-meta=1 ! \ nveglglessink ``` - **关键组件**： - `nvstreammux`：批处理输入流 - `nvinfer`：加载TensorRT引擎 - `nvdsosd`：绘制检测框和关键点 #### 5. **性能优化技巧** - **动态分辨率**：在TensorRT中配置多尺度输入（支持1080p/720p自动切换）[^2] - **Jetson功耗控制**： ```bash sudo jetson_clocks --fan # 启用主动散热 sudo nvpmodel -m 0 # 最大性能模式 ``` - **内存优化**：使用`deepstream-app --perf-measure`监控显存占用 ### 部署验证 1. **精度测试**：使用WiderFace验证集，确保AP值符合预期（参考引用[1]） 2. **实时性测试**：在Jetson AGX Xavier上，1080p视频应达到20+FPS[^2] 3. **资源监控**： ```bash tegrastats --interval 1000 # 查看GPU/CPU利用率 ``` ### 常见问题解决 - **后处理崩溃**：检查自定义插件的内存边界 - **低FPS**：启用TensorRT FP16或INT8量化 - **漏检人脸**：调整`nms-iou-threshold`（建议0.3~0.5） > 官方参考：NVIDIA DeepStream SDK文档中的`CustomParser`示例
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Arnold-FY-Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值