ONNXRUNTIME-CANN部署ONNX模型

最新推荐文章于 2025-11-07 12:21:02 发布
原创 最新推荐文章于 2025-11-07 12:21:02 发布 · 1.3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #视觉检测 #YOLO

部署运行你感兴趣的模型镜像

Atlas Detection ONNX Project

这是一个基于华为 CANN（Compute Architecture for Neural Networks）推理引擎的 YOLOv3 目标检测项目。本项目展示了如何使用 ONNX Runtime 和 CANN 执行提供程序在昇腾 AI 处理器上运行 ONNX 模型。

License

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

项目结构

├── any_utils
│   └── __pycache__
├── kernel_meta
│   ├── kernel_meta_13542949761052527466
│   │   └── kernel_meta
│   └── kernel_meta_temp_13542949761052527466
├── labels
├── license
├── model_class
├── models
├── outputs
│   ├── images
│   └── videos
└── sources
    ├── images
    └── videos

17 directories

环境要求

  • Python 3.9+
  • ONNX Runtime
  • OpenCV
  • NumPy
  • CANN ToolKit

核心实现细节

1. 模型加载器 (ModelLoader)

ModelLoader 类实现了模型的加载和推理过程，主要包含以下功能：

class ModelLoader:
    def __init__(self, model_path, logger, device='cann', device_id=0, 
                 conf_threshold=0.5, iou_threshold=0.45):
        self.model_path = model_path
        self.device = device
        self.device_id = device_id
        self.conf_threshold = conf_threshold
        self.iou_threshold = iou_threshold
        ...

关键参数说明：

  • device: 推理设备选择（‘cann’ 或 ‘cpu’）
  • device_id: 设备ID
  • conf_threshold: 置信度阈值，用于过滤低置信度的检测框
  • iou_threshold: IoU阈值，用于非极大值抑制（NMS）

2. 预处理流程

图像预处理是保证模型性能的关键步骤，包括：

  • 图像缩放到模型输入尺寸
  • 归一化处理
  • 数据格式转换

3. 后处理算法

后处理流程包括以下主要步骤：

  1. 置信度过滤：
def postprocess(self, outputs):
    predictions = np.squeeze(outputs[0])
    obj_conf = predictions[:, 4]
    predictions = predictions[obj_conf > self.conf_threshold]
  1. 类别置信度计算：
predictions[:, 5:] *= obj_conf[:, np.newaxis]
scores = np.max(predictions[:, 5:], axis=1)
  1. 非极大值抑制（NMS）：

从 any_utils.utils 模块调用 nms 函数进行冗余框过滤。

4. CANN 推理优化

CANN推理引擎的优势：

  • 支持昇腾AI处理器的硬件加速
  • 优化的算子实现
  • 高效的内存管理

推理结果展示

2025-08-21 03:11:40,888 - __main__ - INFO - [INFO] Initializing ONNX Runtime session with model: ./models/yolov3.onnx
2025-08-21 03:11:40,888 - __main__ - INFO - [INFO] Use CANNExecutionProvider for ONNX Runtime, core device id: 0.
2025-08-21 03:11:43,783 - __main__ - INFO - [INFO] ONNX Runtime session initialized successfully.
2025-08-21 03:11:44,258 - __main__ - INFO - [INFO] Processed image: 45.jpg, Detected items: 6
2025-08-21 03:11:44,260 - __main__ - INFO - [INFO] Saved output image to: ./outputs/images/out_45.jpg
2025-08-21 03:11:44,275 - __main__ - INFO - [INFO] Processed image: 50.jpg, Detected items: 2
2025-08-21 03:11:44,276 - __main__ - INFO - [INFO] Saved output image to: ./outputs/images/out_50.jpg
2025-08-21 03:11:44,299 - __main__ - INFO - [INFO] Processed image: cat.jpg, Detected items: 1
2025-08-21 03:11:44,306 - __main__ - INFO - [INFO] Saved output image to: ./outputs/images/out_cat.jpg
2025-08-21 03:11:44,329 - __main__ - INFO - [INFO] Processed image: 0.jpg, Detected items: 1
2025-08-21 03:11:44,336 - __main__ - INFO - [INFO] Saved output image to: ./outputs/images/out_0.jpg

测试图片1 (45.jpg)

  • 检测到物体数量：6
  • 输出文件：out_45.jpg
    在这里插入图片描述

测试图片2 (50.jpg)

  • 检测到物体数量：2
  • 输出文件：out_50.jpg
    在这里插入图片描述

测试图片3 (cat.jpg)

  • 检测到物体数量：1
  • 输出文件：out_cat.jpg
    在这里插入图片描述

测试图片4 (0.jpg)

  • 检测到物体数量：1
  • 输出文件：out_0.jpg
    在这里插入图片描述

使用方法

  1. 准备环境：
# 安装依赖
pip install onnxruntime-cann opencv-python numpy
  1. 准备模型：
  • 将转换好的YOLOv3 ONNX模型放入 models 目录
  1. 运行推理：
python run.py
  1. 查看结果：
  • 处理后的图像将保存在 outputs/images 目录
  • 处理日志将记录在 model_inference.log

性能优化

  1. 批量处理
  • 使用批处理模式可以提高 NPU 利用率
  • 根据设备内存大小调整批次大小
  1. 图像预处理优化
  • 使用 NPU 进行图像预处理
  • 减少 CPU 和 NPU 之间的数据传输
  1. 模型量化
  • 考虑使用 INT8 量化提高性能
  • 权衡精度和速度的平衡

注意事项

  1. CANN 设备配置
  • 确保正确安装CANN驱动和运行时
  • 检查设备连接状态
  1. 内存管理
  • 处理大尺寸图片时注意内存使用
  • 及时释放不需要的资源
  1. 错误处理
  • 程序包含完整的日志记录
  • 异常处理机制确保程序稳定运行

引用

  • YOLO: https://pjreddie.com/darknet/yolo/
  • CANN: https://www.hiascend.com/software/cann

联系方式

获取项目源码

  • 公众号关注后回复“cannyolo3”即可获取项目源码

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

极智AI | 再谈昇腾CANN量化
极智视界
12-21 502
大家好，我是极智视界，本文介绍一下 再谈昇腾CANN量化。
onnxruntime配置
weixin_45303602的博客
09-02 6961
runtime指的是程序运行环境，是计算机系统中负责程序运行的组件。在编写程序时，需要考虑程序与运行环境之间的交互，以及程序在运行时所需的资源和环境。在不同的编程语言中，runtime的实现方式也会有所不同。例如在Java中，runtime由Java虚拟机（JVM）实现，而在C++中，runtime可能由操作系统提供的动态链接库（DLL）实现。通常情况下，程序员不需要直接操作runtime。但是，在调试程序或优化程序性能时，需要对runtime有一定的了解和掌握。
从ONNX图到昇腾执行：CANN模型解析、算子映射与图优化深度揭秘
最新发布
dfssaafgds的博客
11-07 692
当一个ONNX算子既不能直接映射，也无法被有效地分解时（例如，它是一个全新的、算法高度特化的操作），我们就遇到了**“算子不支持（Unsupported Operator）”**的情况。最后，CANN的运行时（Runtime）会接管这张执行图，按照优化的顺序，逐一调用TBE对算子进行JIT编译，生成二进制核函数，并下发到NPU的AI Core和AI CPU上执行。算子映射，是整个转换过程的“心脏”。此时，我们就需要利用TBE或AI CPU，为这个“未知”的ONNX算子，编写一个对应的CANN算子实现。
NPU上运行onnxruntime
xyz3120的专栏
03-10 1450
显示的是cuda的组件找不到。由于是Ascend环境，肯定是没有GPU的，很明显是onnxruntime的包装错了。那么该如何才能构建onnxruntime适配Ascend上的whl包呢？通过如上命令，可以看到环境上确实安装的是gpu版本的。注意**–use_cann**参数。
ONNX Runtime支持多平台推理
weixin_35266799的博客
11-03 889
ONNX Runtime通过统一中间表示和多平台支持，实现高效、低延迟的AI模型推理，涵盖架构设计、优化技术及跨平台部署实践。
深度学习模型部署框架之ONNX Runtime
心流的博客
12-08 3440
本文是深度学习模型部署框架的第一篇，更多部署框架可以查看本专栏的其他文章。概念：onnx一种开源模型格式，专注于推理所需的能力。同时，它还是一个中间深度学习框架，用于连接不同深度学习框架之间的转换。优势：跨平台兼容性好；性能优化；支持多种框架。坑点：onnx只是一个格式，就和json一样，只要满足规则，就是合法的。因此单纯从pytorch转成onnx格式很简单，但是不同后端框架接受的onnx是不一样的。
一文搞懂ONNX-Runtime综述&使用&源码分析（持续更新）
奇华资料的博客
09-25 4333
onnx-runtime可以加载onnx或者ort格式的模型--- onnx 模型，即原始的onnx模型，为protobuf格式存储--- ort模型，onnx-runtime将onnx模型经过图优化等保存下来的模型，采用flatbuffer，性能更好，体积更小整体而言，onnx-runtime为了支持多设备多平台，做了很多复杂的事情，整体的推理软件栈的思路还是一致的；flatbuffer也是替代protobuf的一种很好的方式。
onnxruntime_cann-1.18.0-cp39-cp39-manylinux_2_17_aarch64.whl
09-30
易用性：ONNX Runtime提供了丰富的API接口和文档，使得开发者可以轻松地集成和使用它，从而加速模型的部署和上线。 生态支持：ONNX Runtime得到了众多主流机器学习框架的支持，如TensorFlow、PyTorch等。这意味着...
ONNX Runtime推理引擎：什么是ONNX与怎么去使用ONNX ？
qq_43664407的博客
06-12 1940
"ONNX Runtime 正在成为AI世界的'HTTP协议'——它让模型在不同平台间的流动如同信息在互联网中的传输一样自由。通过解耦训练框架与部署环境，开发者终于能够专注于创造价值本身，而非陷于适配不同硬件的泥沼。
mediapipe转onnx，并使用onnx在华为升腾NPU的910A上运行
qq_57467780的博客
09-29 3365
mediapipe是使用tensorflow框架运行的模型，我想把它放到华为的npu上运行，这就需要使用一些模型转换的方法，我首先想到的是编译npu版的计算图，但是这个对于我来说太难了，而且教程太零碎，最终无法成功。第二个方法是转成onnx格式，我查了资料，华为的框架也支持onnx，所以这个简单的方法可以实现。
昇腾 CANN 入门推理全流程 - 超分辨率 (PyTorch, ONNX, AscendCL)
Fradeet 的博客
06-29 3893
简要说明流程：从研究记录中选择一个模型作为实验（首选 SR 超分辨率模型）MAN 轻量有预训练模型开源将 SR 模型转换为中间格式 (MindIR, ONNX)PyTorch 转换为 ONNXONNX 要打开动态输入将中间格式模型转换为昇腾 OM 模型OM 模型需要预设动态分辨率动态分辨率越多转换越久使用 AscendCL 进行推理改写了昇腾原有示例整个自身的体验流程就告一段落了。
昇腾部署onnx模型问题总结
yuanlulu的博客
01-15 1601
解析输出tensor出错了。前两个输出Tensor名字分别是output0和output1，第三个是onnx::Reshape_1276。在export onnx的时候，指定opset 12。再用atc转换为om模型就不报错了。我猜测和名字里的前缀有关，可能是“::”导致解析失败。后来测试印证了我的猜想。修改onnx模式输出节点名称，将输出节点中包含“onnx::”前缀去掉。而我用的atc版本比较旧，猜测是opset版本太高导致atc不支持。通过netron来看onnx，发现是opset19的模型。
cann | amct量化环境安装
m0_59237910的博客
03-24 1455
cann | amct量化环境安装
移植CANN昇腾910A运行教程及兼容问题
m0_58355018的博客
02-19 696
[E:onnxruntime:, sequential_executor.cc:516 ExecuteKernel] Non-zero status code returned while running torch-jit-export_13819089367662451151_0 node. Name:'CANNExecutionProvider_torch-jit-export_13819089367662451151_0_0' Status Message: /root/onnxruntime/on
ONNX Runtime 加速深度学习(C++ 、python)详细介绍
yohnyang的博客
07-22 5707
ONNX Runtime 加速深度学习(C++ 、python)详细介绍
CANN 2022 | 开放升级，跃升新台阶
m0_71340392的博客
01-18 1146
2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！
华为Atlas200DK开发从零开始3.目标检测模型CANN部署——以YOLOX、YOLOv5和Nanodet为例（2）CANN模型的转换，ATC转换工具
qq_41035283的博客
08-10 4608
目录前言深度学习模型在AI芯片上部署的一般流程通过ATC工具进行模型转换ATC工具使用流程模型转换步骤1.其他框架转onnx2. onnx模型修改与优化3.使用ATC转换后记 前言 上一篇关于Atlas200DK博客CANN接口调用记录了CANN python接口的调用。 这一篇讲一讲怎么把模型转换为CANN框架的om模型，以及ATC模型转换工具。 注意！ 本文默认已经在Atlas200DK上搭建好了CANN工具套件和运行环境。 深度学习模型在AI芯片上部署的一般流程 首先回顾一下上篇博客中的AI芯片部
ONNX Runtime介绍
网络资源是无限的
07-23 1万+
ONNX Runtime介绍
【深度学习】【OnnxRuntime】【C++】模型转化、环境搭建以及模型部署的详细教程
热门推荐
yangyu0515的博客
09-10 1万+
【深度学习】【OnnxRuntime】【C++】模型转化、环境搭建以及模型部署的详细教程
npu使用onnxruntime
07-17
<think>我们正在讨论如何在NPU上使用ONNX Runtime进行模型推理。根据引用[1]和[2]，ONNX Runtime是一个跨平台的推理引擎，支持多种硬件加速，包括NPU。以下是具体步骤： 1. **环境准备**：确保目标设备（NPU）的驱动和运行时环境已安装。例如，如果使用华为NPU，需要安装CANN（Compute Architecture for Neural Networks）工具包[^1]。 2. **安装ONNX Runtime**：选择支持NPU的ONNX Runtime版本。ONNX Runtime提供了针对特定硬件加速的构建版本。例如，对于华为昇腾NPU，可以使用`onnxruntime-aisw`包（Ascend Inference Software）[^2]。 ```bash pip install onnxruntime-aisw ``` 3. **模型转换**：将训练好的模型转换为ONNX格式（如果尚未转换）。可以使用PyTorch或TensorFlow等框架的导出功能。 4. **推理代码**：在Python代码中，指定NPU作为执行提供者（Execution Provider）。示例代码如下： ```python import onnxruntime as ort # 指定NPU作为执行提供者（例如'HuaweiAscendNPU'） providers = ['HuaweiAscendNPUExecutionProvider'] # 根据实际NPU厂商调整 # 加载模型 session = ort.InferenceSession('model.onnx', providers=providers) # 准备输入数据 inputs = {...} # 根据模型输入结构填充 # 执行推理 outputs = session.run(None, inputs) ``` 5. **性能优化**：ONNX Runtime内置了针对NPU的图优化技术。此外，可以调整线程数、内存分配等参数[^2]。 §§相关问题§§ 1. 如何验证ONNX Runtime是否成功调用了NPU？ 2. ONNX Runtime支持哪些厂商的NPU？ 3. 在NPU上部署ONNX模型时常见的性能瓶颈有哪些？</think>### 如何在NPU设备上使用ONNX Runtime进行深度学习模型推理 要在NPU（神经处理单元）上使用ONNX Runtime进行模型推理，需遵循以下步骤： #### 1. **环境准备** - **安装NPU驱动**：确保目标设备已安装NPU厂商提供的驱动和工具链（如华为昇腾的CANN工具包[^1]）。 - **选择ONNX Runtime版本**：安装支持NPU的ONNX Runtime版本（如`onnxruntime-aisw`专为昇腾NPU优化）： ```bash pip install onnxruntime-aisw # 华为昇腾NPU专用版本 ``` #### 2. **模型转换与优化** - **导出ONNX模型**：从训练框架（PyTorch/TensorFlow）导出标准ONNX格式模型： ```python torch.onnx.export(model, input_sample, "model.onnx") ``` - **NPU专用优化**：使用厂商工具优化模型（如昇腾的`atc`工具转换模型格式）： ```bash atc --model=model.onnx --output=model_ascend --soc_version=Ascend310 ``` #### 3. **推理代码实现** ```python import onnxruntime as ort # 指定NPU作为执行提供者 providers = [ ('AscendExecutionProvider', { # 华为昇腾NPU 'device_id': 0, # 指定设备ID 'npu_freq_high': 1 # 启用高频模式 }) ] # 加载优化后的模型 session = ort.InferenceSession("model_ascend.om", providers=providers) # 准备输入数据 (示例) input_data = np.random.randn(1, 3, 224, 224).astype(np.float32) # 执行推理 outputs = session.run(None, {"input_name": input_data}) ``` #### 4. **关键配置项 | 参数 | 作用 | 示例值 | |---------------------|-----------------------------|---------------| | `device_id` | 指定NPU设备ID | `0` | | `npu_freq_high` | 启用高频模式提升性能 | `1` (启用) | | `enable_custom_kernel` | 启用自定义算子优化 | `True` | #### 5. **性能优化建议 - **算子融合**：使用ONNX Runtime的图优化功能自动合并算子 - **量化加速**：通过NPU支持的INT8量化减少计算量 - **流水线并行**：对多NPU设备使用`data_parallel_size`参数分配负载 > **注意**：不同NPU厂商（如华为昇腾、高通Cloud AI）需使用对应的Execution Provider名称，具体参考厂商文档[^2]。 --- ### 常见问题解决 1. **Provider未找到错误** ⇒ 确认安装的ONNX Runtime包含NPU支持版本 2. **算子不支持** ⇒ 使用厂商提供的自定义算子库或简化模型结构 3. **性能低于预期** ⇒ 启用`enable_custom_kernel`并检查内存带宽瓶颈
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值