old_power的博客

PyTorch 分布式训练（DDP）不同机器之间的进程通信

PyTorch单机多卡训练（DataParallel）

DDP是PyTorch 提供的分布式训练接口

MolScribe：一种分子结构识别模型，将分子实体的图像转换为SMILES字符串。

介绍了pytesseract、EasyOcr、ModelScope

【代码】Python实现ONNXRuntime推理YOLOv11模型。

ONNX Runtime 与 CUDA、cuDNN 的版本对应关系是深度学习模型部署中的关键点，确保版本兼容性可以避免运行时错误并优化性能。以下是详细的版本对应关系及注意事项：

用于SAM（segment anything model分割一切模型）的TensorRT和CUDA优化的高表现C++实现，特别适用于实时图像分割任务。

用`TensorRT`和`CUDA`的双边参考网络（`BiRefNet`）的高性能`c++`实现，针对实时高分辨率二分类图像分割进行了优化。

Linux(Ubuntu24.04)源码编译安装OpenCV4.6.0

在Liunx中配置OpenCV环境变量

**PyOpenCL** 是一个用于在Python中访问和使用OpenCL（Open Computing Language）的库。OpenCL是一种开放标准，旨在使程序能够在不同的平台上高效运行，包括CPU、GPU、FPGA和其他类型的加速器。通过PyOpenCL，开发者可以在Python中编写并执行OpenCL代码，从而利用这些硬件加速计算任务。

双线性插值是一种用于在二维网格上进行插值的方法，适用于图像处理、计算机图形学等领域。它通过利用四个邻近点的已知值，估算出任意点的值。双线性插值在两个方向（通常是水平和垂直）上分别进行线性插值，因此得名“双线性”

双目相机计算深度图的基本原理是通过两台相机从不同角度拍摄同一场景，然后利用视差来计算物体的距离。本文的Python实现示例，使用OpenCV库来处理图像和计算深度图。

使用边缘设备进行算法落地时，通常要考虑模型推理速度，NVIDA系列平台可以使用TensorRT和CUDA加速，瑞芯微RK3588的板子上都是Arm的手机GPU，虽然没有类似CUDA的加速计算方式，但是提供了NPU进行加速推理，本文说明了如何使用瑞芯微RK3588的NPU进行模型转换和推理

如果需要在Linux上运行一个轻量级的解决方案，完成**唤醒词检测**和**固定语音指令识别**，以下是推荐的工具和框架组合：

完成固定语音指令识别的方法通常包括以下几个步骤：

TOF设备的SLAM项目推荐

一个典型的SLAM项目结构包括数据采集、前端处理、后端优化、地图构建、定位、可视化、存储与日志、配置与参数、测试与评估等多个模块。每个模块各司其职，共同实现SLAM系统的功能。

在使用ONNX Runtime进行动态量化（）后，生成的ONNX模型已经是量化模型（通常是INT8精度）。

6DoF 头控（Six Degrees of Freedom Head Tracking）是一种基于 6 自由度的头部运动追踪技术，主要用于虚拟现实（VR）、增强现实（AR）和混合现实（MR）设备中，以实现更自然、沉浸式的交互体验。

Rokid 的 3D 手势算法通过单目摄像头和深度学习技术，实现了低成本、高精度的 AR 手势交互。该技术不仅提升了用户体验，还为 AR 应用开发提供了强大的技术支持，推动了 AR 技术的普及和发展。

HybridNets多任务模型主要针对目标检测、可行驶区域分割和车道检测。在Berkeley DeepDrive Dataset （BDD100K）数据集上进行训练，达到SOTA的目标和车道检测。

本文档包含ONNX语义的规范性规范。在[onnx文件夹](/onnx/)下的`.proto`和`.proto3`文件构成了其语法的规范性规范，这些文件使用[Protocol Buffers](https://developers.google.com/protocol-buffers)定义语言编写。`.proto`和`.proto3`文件中的注释旨在提高这些文件的可读性，但如果与本文档冲突，则不具有规范性。此类冲突应报告为文档错误。

【CUDA-BEVFusion】qat/quantize.py代码的主要功能是将一个名为 `bevfusion` 的模型导出为 ONNX 格式，支持 INT8 和 FP16 两种精度。

YOLOv11 模型可以通过 Ultralytics 提供的接口轻松导出为多种格式，如 ONNX、TensorRT、CoreML 等。

在TensorRT中，PTQ（Post-Training Quantization，训练后量化）用于将浮点模型转换为INT8精度，以提升推理速度并减少内存占用。TensorRT提供了多种校准器（Calibrator）来实现INT8量化。

量化网络可以通过两种（互斥的）方式进行处理：使用隐式量化或显式量化。这两种处理模式的主要区别在于是否需要显式控制量化，或者让 TensorRT 构建器选择哪些操作和张量进行量化（隐式）。以下部分提供了更多详细信息。隐式量化仅在量化到 INT8 时受支持。它不能与强类型一起使用（因为类型不会自动调整，唯一将激活值转换为 INT8 或从 INT8 转换回的方法是通过量化（Q）和反量化（DQ）操作符）。

TensorRT 提供了 `trtexec` 工具，可以方便地将模型转换为 TensorRT 引擎，并支持 INT8 量化。`trtexec` 是一个命令行工具，适用于快速测试和部署模型，尤其适合对 ONNX 或 UFF 格式的模型进行量化和优化。

TensorRT 是 NVIDIA 提供的高性能深度学习推理库，支持 INT8 量化以加速模型推理。TensorRT 支持从 ONNX 格式的模型进行量化。首先需要将 YOLO 模型导出为 ONNX 格式。

YOLOv11 是 Ultralytics 推出的最新目标检测模型，具有更高的精度和更少的参数量，适用于多种计算机视觉任务。模型量化是优化 YOLOv11 推理速度和减少资源占用的关键技术之一。以下是关于 YOLOv11 模型量化的详细解读和方法总结：

`qat/ptq.py`代码实现了一个**PTQ（Post Training Quantization）**的过程，主要用于对深度学习模型进行量化操作。

QAT（Quantization Aware Training）和PTQ（Post Training Quantization）是两种常见的模型量化方法，用于减少深度学习模型的计算和存储开销，同时尽量保持模型的性能。

【TensorRT】trtexec的参数说明

【CUDA-BEVFusion】tool/build_trt_engine.sh 文件解读

`onnx.in.proto` 是 **ONNX 官方** 提供的原始文件，用于生成 `onnx-ml.proto` 和 `onnx-operators-ml.proto` 文件。它是 ONNX 项目的一部分，包含了 ONNX 模型格式的核心定义。如果需要扩展 ONNX 模型格式（例如添加新的操作符或修改现有定义），只需修改 `onnx.in.proto`，然后重新生成相关文件。

【CUDA-BEVFusion】项目中的onnx-ml.proto和 onnx-operators-ml.proto说明

CUDA-BEVFusion中，src/common/visualize.cu 源文件的当前部分代码`class SceneArtistImplement`的作用是图像处理工具，主要用于图像的缩放、翻转和合成操作

核心作用是**将3D感知数据（点云和边界框）投影到2D图像平面，并生成直观的可视化结果**，帮助开发者或用户理解感知算法的输出

CUDA-BEVFusion中，src/common/visualize.cu 源文件的当前部分代码`class ImageArtistImplement`主要实现了3D边界框（Bounding Box）的投影和可视化功能，使用了CUDA加速的图像绘制库（`cuOSD`）来在图像上绘制3D边界框和相关的文本信息。