如何将基于Jetpack 4.5 + Deepstream 5开发的程序升级到Jetpack 4.6 + Deepstream 6

      Jetpack 4.5.1及以前的版本4.x里使用的是TensorRT 7.1.3,JetPack 4.6开始则是使用的TensorRT 8,由于我们在模型加速上多是建立在TensorRT的基础上的,而TensorRT 8没有完全保证对TensorRT 7.x的兼容,所以受TensorRT这个版本的变化对封装调用模型的部分代码是有影响的,在Jetpack 4.5 + Deepstream 5开发的程序涉及到AI模型的部分在Jetpack 4.6 + Deepstream 6下很可能编译都会出错,更不要说能跑起来。

      近期在Jetson Nano上对我们基于Jetpack 4.5 + Deepstream 5开发的程序做了针对Jetpack 4.6 + Deepstream 6的migration实验,发现受影响最大的自然是nvinfer plugin调用的我们自己的目标检测模型的部分以及nvtracker plugin部分。

      1. nvinfer plugin调用我们定制模型的部分有些改动:

        1) 用来创建engine的接口函数增加了nvinfer1::IBuilderConfig * const builderConfig这个参数,以前Deepstream 5.0中的接口是类似这样的

extern "C"
bool NvDsInferYoloCudaEngineGet(nvinfer1::IBuilder * const builder,
        const NvDsInferContextInitParams * const initParams,
        nvinfer1::DataType dataType,
        nvinfer1::ICudaEngine *& cudaEngine);

Deepstream 6.0中则是类似这样:

extern "C"
bool NvDsInferYoloCud
JetPack 4.5是Linux for Tegra (L4T)软件套件的一个版本,特别适用于NVIDIA的Jetson系列嵌入式计算平台。该软件套件是一个开发工具包,为开发者提供了构建、部署和优化AI、机器学习和计算机视觉应用程序所需的一切工具和库。 JetPack 4.5基于Linux for Tegra (L4T) R32.5版本,L4T是一个优化的嵌入式操作系统,专为NVIDIA的Tegra ARM处理器设计。它提供了一个稳定和高效的平台,用于在NVIDIA Jetson平台上开发和运行各种应用程序JetPack 4.5引入了一些重要的更新和改进。首先,它集成了CUDA 10.2、cuDNN 8.0等重要的深度学习和机器学习库,这为用户开发和部署高性能的AI应用程序提供了更好的支持。 其次,JetPack 4.5引入了TensorRT 7.1.3,这是一个可用于优化和加速深度学习推理的重要工具。TensorRT可将训练好的深度学习模型转换为高效的推理模型,从而在嵌入式设备上实现低延迟的高性能推理。 此外,JetPack 4.5还提供了各种开发工具和示例代码,帮助用户更轻松地构建和优化他们的应用程序。它还支持嵌入式视觉库(EGLStream和VisionWorks)以及多个传感器的接口,如CSI相机和IMU传感器。 总之,JetPack 4.5是一个功能强大的嵌入式开发工具包,为开发者提供了丰富的资源和工具,以便更轻松地构建和优化他们的AI和机器学习应用程序。同时,它也为用户提供了一个稳定和高效的平台,用于在Jetson嵌入式计算平台上开发和部署应用程序
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Arnold-FY-Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值