郭老二

【AI】PyTorch入门（一）：通过Anaconda安装PyTorch，并总结张量TENSORS【AI】PyTorch入门（二）：训练与预测【Python】入门（三）：在jupyterlab中使用conda虚拟环境【AI】PyTorch入门（四）：对数据样本进行转换【AI】PyTorch入门（五）：构建神经模型【AI】PyTorch入门（六）：自动微分torch.autograd【AI】PyTorch入门（七）：优化模型参数【AI】PyTorch入门（八）：从NumPy到PyTorch学习训

本文介绍了NVIDIA Orin NX系统镜像恢复时遇到的板型不匹配问题及其解决方法。作者在更新SDK Manager后备份新版Orin NX镜像，但恢复至旧版Orin NX时出现板型不匹配报错。通过分析发现镜像板型为3767-301-0000-G.1，而当前板型为3767-300-0000-M.1。解决方法是通过修改nvrestore_partitions.sh脚本，屏蔽板型匹配检查，强制烧写成功。但随后又遇到新问题：使用新版镜像烧写后，替换旧SSD无法启动系统，表现为BIOS界面后重启。作者对比了新旧分

1）登录官网注册，2）生成key3）拷贝生成的key到文本中，下面会使用。

如果没有升级到Ubuntu22.04，可以在电脑Ubuntu系统中使用SDKManager来烧写Ubuntu系统，网络情况好的话，也可以直接将CUDA、cuDNN、TensorRT、Deepstream等也安装上。2）拷贝到/opt/nvidia/deepstream/deepstream/DeepStream-Yolo/utils。其它库的版本查看，使用 https://pypi.org/simple/模块名/来查看；创建目录deepstream，将deb解压到deepstream中。

使用 sdk-manager 烧写 OrinNano， JetPack版本为6.0 DP，对应操作系统为：Ubuntu22.04。移植 YoloV11，并使用DeepStream测试

OrinNX+Ubuntu20.04：移植OpenCV-4.11.0 with CUDA（含opencv_contrib ）

之前开发TX2、Jetson Nano等使用 NVIDIA SDKManager 在电脑上烧写开发板时，下载安装GPU相关套件（CUDA、cuDNN、TensorRT、VPI、DeepStream等）。Orin 系列开发版，可以直接通过 Jetpack 来安装，避免在电脑上再搭建开发环境。

CUDA_HALF是一个用于指定在深度学习框架中进行半精度浮点数（16位浮点数（）计算的选项。LIBSO=1选项的作用是构建一个动态链接库（.so文件）以及一个使用该库的二进制可执行文件（uselib）生成的文件：darknet、libdarknet.so、uselib。3）报错：unsupported GNU version。1）下载权重：yolov7-tiny.weights。5）uselib 不支持测试摄像头。3）darknet 测试摄像头。2）darknet 检测图片。4）uselib 检测图片。

DeepStream的版本和Jetson Nano GPU相关的版本关联密切：1）Jetson Nano 系统为Ubuntu20.04（如何在Jetson Nano中安装Ubuntu20.04参见2）Jetpack 版本为 4.6 （L4T 32.6.1）3）CUDA 版本为：10.2.3004）cuDNN 版本为：8.2.1.325）TensorRT 版本为：8.0.1.66）OpenCV 版本为：4.8 （带有CUDA加速）

Jetson Nano出厂时，默认支持Ubuntu18.04。各个厂家的国产板子，自带的也是Ubuntu18.04。如何升级到Ubuntu20.04呢？

将JetsonNano烧写SD卡镜像为Ubuntu20.04后，启动时报错：soctherm OC ALARM，启动失败；然后系统一直重启。

演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。在管道pipe中使用多个媒体源src（MJPEG流）；自定义解码bin，封装mjpeg编解码器。配置流复用器mux生成一批帧，并在批处理上进行推断（nvinfer），以更好地利用资源。提取流元数据，其中包含有关批处理缓冲区中帧的有用信息。“nvinfer”元素使用 TensorRT API 对帧/对象进行推断，用在Jetson嵌入式板子上；

DeepStream：图像分割示例 deepstream-segmentation-test，源码详解，一行一注释

deepstream-segmentation-test示例演示了图像的语义分割。两个配置文件，分别加载U-Net和Res-UNet两种分割模型U-Net是一个在生物医学图像分割领域广泛应用的卷积神经网络（CNN），由Olaf Ronneberger等人于2015年提出。U-Net的网络结构呈U型，前半部分为编码器（Encoder），用于特征提取；后半部分为解码器（Decoder），用于上采样和特征融合，最终实现图像分割。由于其优秀的性能和灵活性，U-Net也被应用于其他领域的图像分割任务。

DeepStream中关于三维动作识别推理示例的源码详解（一行一注释）

DeepStream还可以分析视频帧序列，来识别视频中的动作。示例参见：/opt/nvidia/deepstream/deepstream/sources/apps/sample_apps/deepstream-3d-action-recognition。

配置文件，为INI格式，使用 GLib 的 GKeyFile 来解析INI格式的配置文件。NvDsConfig 属于 AppCtx 的一部分，作为应用程序上下文。使用时，如下例子，调用 NvDsConfig 中保存的信息即可。所有解析后的信息存储在 结构体 NvDsConfig 中，deepstream-app的。

路径：/opt/nvidia/deepstream/deepstream/samples/configs/deepstream-app/source1_usb_dec_infer_resnet_int8.txt。在mian函数中，通过 parse_config_file_yaml 函数来解析 yaml 配置文件；以 source1_usb_dec_infer_resnet_int8.txt 为例。6）配置 推理引擎GIE（GPU Inference Engine）

nvds_dependencies_version_print 用于打印 DeepStream SDK 依赖的第三方库的版本信息，如 CUDA、cuDNN 和 TensorRT 等的版本号。命令行参数的定义时，使用 G_OPTION_ARG_FILENAME_ARRAY 指定参数为文件名数组（字符串数组）为每个配置文件创建对应的上下文结构体AppCtx，AppCtx中记录相关的状态、环境、输入参数、运行时参数等信息。两个重要的命令行参数，-c 和 -i 分别用于指定配置文件和输入的url。

deepstream-app：相对正式的 DeepStream 参考应用程序。deepstream-test5是在此基础上修改的，因此先介绍deepstream-app。

deepstream-test4：向Kafka消息平台发布推理后产生的数据最后演示如何使用GPU保存编码后的图片

deepstream-test4：向Kafka消息平台发布，推理后的产生的数据。

演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。：和deepstream-test1相比，多了目标跟踪和分类，如下图，左侧为test1、右侧为test2，test2中对目标跟踪并使用数字做编号，并且对汽车进行二次分类。在管道中使用多个源，同时处理多个源，效果如图所示，使用 uridecodebin 接受任何类型的输入（例如 RTSP/文件）、任何 GStreamer 支持的容器格式以及任何编解码器。

deepstream-test1：演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。deepstream-test2：和deepstream-test1相比，多了目标跟踪和分类，如下图，左侧为test1、右侧为test2，test2中对目标跟踪并使用数字做编号，并且对汽车进行二次分类。

deepstream-test1：演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。源码路径：/opt/nvidia/deepstream/deepstream/sources/apps/sample_apps/deepstream-test1先看下效果。

Deepstream入门：在Ubuntu20.04上安装Deepstream6.2

DeepStream 本质是 GStreamer 的插件，基于GStreamer的管道，实现高效的视频流分析。DeepStream 将来自 USB/CSI 摄像头的流数据、来自文件的视频或通过 RTSP 的流作为输入，并使用人工智能和计算机视觉从像素中生成AI结果。

Jetson Orin Nano上使用Qt+QGtreamer开发系列：将gstreamer输出的图像显示到Qt控件上

Jetson Orin Nano系列：Qt+Gstreamer开发01-pro中配置gstreamer库和头文件路径

Jetson Orin Nano系列：安装中文输入法（最简方法）

Jetson Orin Nano中安装Docker、NVIDIA Container Toolkit。运行一个简单的CUDA的容器。NVIDIA Container Toolkit 使用户能够构建和运行 GPU 加速的容器。

Jeson Orin Nano系列：烧写Ubuntu22.04电脑主机可以是Ubuntu20.04

在启动sdkmanager后，点击登录，一般在web中弹出登录链接。但是这次报错：invalid_request - Authorization flow not allowed。

SSD（Single Shot MultiBox Detector）单发多框检测。“Single shot”说明SSD算法属于one-stage（一段式）方法，“MultiBox”说明SSD是多框预测（多尺度锚框/特征图）。YOLO速度快，适用于实时物体检测；但是精度略低，尤其是对小物体的检测。SSD准确度高，尤其是同时检测各种大小的物体时；但是速度略低。下面列举了one-stage（一段式）和two-stage（两段式）算法及对应的速度和准确度。

非极大值抑制：non-maximum suppression，NMS，用于合并属于同一目标的类似的预测边界框。经过预测后，输出的边界框肯定不是一个，有的略大、有的略小，有的略偏离中心，通过非极大值抑制算法，筛选出最合适的边界框。锚框：anchor box，想像一下，其实我们不知道目标大小和位置，先假定目标的中心位置，和船下锚类似，然后使用多个不同大小的框来探测是否有被测目标。如果在图像的每个像素上“下锚”，然后在每个“下锚”处生成几个形状不同的锚框，那么将会产生百万级别甚至更多的锚框，计算量太大了。

微调属于迁移学习的一种，在已经从大量数据集上训练出来的模型上继续训练自己的小数据集，继承已经学习到的边缘、纹理、形状等信息。通过对图像进行随机裁剪，使物体以不同的比例出现在图像的不同位置。

了解下GoogLeNet、ResNet、DenseNet的网络结果及代码实现

卷积神经网络模型：LeNet、AlexNet

通过本篇博客，可以了解到：卷积核、卷积层、填充、步幅、通道、池化/汇聚等概念

自定义网络层、保存/加载参数到文件中、将数据加载到GPU计算