【CUDA编程部署教程】第三章 3.2 ONNX图修改:GraphSurgeon

引言

在前面的章节中,我们学会了如何使用ONNX Python API、Netron和ONNX Runtime来检查和验证一个ONNX模型。这些工具对于“诊断”模型至关重要。然而,在许多高级部署场景中,我们需要的不仅仅是诊断,而是“治疗”——即直接修改模型的计算图(Graph)。

ONNX GraphSurgeon (GS) 是TensorRT团队开发的一个Python库,它提供了简洁而强大的API,让我们能够像编辑普通数据结构一样,对ONNX图进行增、删、改、查等操作。掌握GraphSurgeon是高级TensorRT开发者的核心技能之一,它主要应用于以下三大场景:

  1. 图结构探索: 以编程方式遍历和理解复杂的网络拓扑。

  2. 前后处理融合: 将数据预处理(如归一化)和后处理(如NMS)的节点直接嵌入到ONNX图中,简化部署流程。

  3. 自定义算子替换: 为TensorRT插件(Plugin)做准备,将图中不被支持的算子或希望手动优化的子图替换为自定义节点。

本章将通过一系列循序渐进的、可执行的代码示例,带您从基础的图遍历,到复杂的节点替换,全面掌握GraphSurgeon的使用。


3.2.1 节点与张量的查找与操作

原理简介

GraphSurg

BEVFormer在JetPack 6.2上的部署陷阱与TensorRT 10.3适配实战 BEVFormer作为主流的纯视觉鸟瞰图(BEV)感知模型,其部署本质是跨框架语义对齐问题:PyTorch动态图特性与TensorRT静态引擎约束存在天然张力。核心瓶颈在于MultiScaleDeformableAttention(MSDA)和grid_sample等算子在ONNX opset中缺乏标准支持,尤其在JetPack 6.2搭载的TensorRT 10.3环境下,官方已弃用自定义Plugin机制,转向严格ONNX-TRT流水线。这导致模型无法直连部署,必须通过ONNX Graph Surgery 阅读详情

相关推荐

深度学习模型部署实战:ONNX Runtime高效推理与工具链解析

本文深入探讨了深度学习模型部署中的ONNX Runtime高效推理与工具链应用。通过实战案例解析了ONNX Runtime的跨平台部署、性能优化技巧及工具链整合,帮助开发者实现从模型转换到生产环境部署的全流程优化,显著提升推理效率。

weixin_29075633的博客 436

Jetson ONNX Runtime GPU部署实战:从编译到TensorRT加速

ONNX Runtime 是边缘AI推理的事实标准框架,其GPU执行提供器(CUDA/TensorRT EP)可显著提升Jetson系列设备的推理性能。原理上,它通过统一Session接口封装底层加速库,绕过Python运行时开销,实现模型逻辑与硬件后端解耦;技术价值在于跨平台兼容性、低延迟和高吞吐,尤其适配JetPack SDK约束下的嵌入式环境;典型应用场景包括YOLOv8目标检测、Whisper语音识别等实时AI任务。本文聚焦Jetson Orin/Nano平台,深入解析ONNX Runtime GP

weixin_34160277的博客 543

TensorRT 8.6安装踩坑实录:从下载到验证,我的Ubuntu 20.04 + CUDA 11.7环境搭建全流程

本文详细记录了在Ubuntu 20.04 + CUDA 11.7环境下安装TensorRT 8.6的全过程,包括环境准备、安装包选择、依赖处理、验证安装及性能测试。重点分享了官方文档未提及的常见问题解决方案和优化技巧,帮助开发者高效部署TensorRT 8.6,提升深度学习模型推理性能。

dianjin3567的博客 400

【深度强化学习】(2) Double DQN 模型解析,附Pytorch完整代码

Double DQN 算法是 DQN 算法的改进版本,解决了 DQN 算法过估计行为价值的问题。Double DQN 算法不直接通过最大化的方式选取目标网络计算的所有可能 Q 值,而是首先通过估计网络选取最大 Q 值对应的动作。在 Double DQN 框架中存在两个神经网络模型,分别是训练网络与目标网络。这两个神经网络模型的结构完全相同,但是权重参数不同;每训练一段之间后,训练网络的权重参数才会复制给目标网络。

博观而约取,厚积而薄发 1万+

使用在UE5中使用AirSim插件Eigen库头文件引用报错,出现报错的解决方式

如图所示,用红线圈出的两条头文件引用会报错,提示无法找到他们,但是可以发现的是,他们的路径书写是没有问题的。在终端中运行时候,会出现如下的报错。

GFCLJY的博客 1008

UE4_SpeedTree Shader源码分析

目录 1.UMaterialExpressionSpeedTree::Compile 2.Compiler->SpeedTree 3.GetSpeedTreeVertexOffset 4.Scene中的SpeedTree应用 (Scene->UpdateSpeedTreeWind) 5.GetSpeedTreeVertexOffsetInner 由于之后做风场,也需要在S...

zzgyy123的专栏 2632

嵌入式SD/TF卡通用协议-SDIO协议

为了驱动SD卡,首先的第一步就是观察SD卡引脚接线情况,通常我们在画原理图时,都是使用的SD卡卡槽与MCU进行接线。SD卡可以使用SDIO协议和SPI协议进行通信,这里我们主要介绍SDIO协议。下图中的TF卡只是容量小一点的SD卡。以F1C100S为例,接线图如下所示:我们发现上图中的TF卡使用的协议为SDIO协议,主要有4根数据线,1根命令线,1根时钟线组合而成。为了驱动这个SD/TF卡我们就需要去了解SDIO协议的时序。

qq_1033275663的博客 3054

QCPColorMap实现瀑布图

QCPColorMap实现真正的瀑布图

pf1873252141的博客 5276

STM32F103RCT6的FLASH读写操作

STM32F103RCT6是一款常用的32位微控制器,它具有内置的FLASH存储器,可以用于存储程序代码和数据。在本文中,我们将详细介绍如何进行STM32F103RCT6的FLASH读写操作,并提供相应的源代码。写入数据时,我们通过将数据直接写入FLASH地址来完成。通过使用适当的API和规则,我们可以有效地读取和写入数据。写入FLASH时,我们需要按特定的规则进行编程。首先,我们需要包含适当的头文件和定义相关的宏和变量,以便在代码中使用FLASH API。类型的指针,我们可以直接读取FLASH中的数据。

UplKubernetes的博客 1034

反应动力学仿真软件:Kintecus_(3).Kintecus安装与配置

在本节中,我们将详细介绍如何安装和配置Kintecus反应动力学仿真软件。Kintecus是一款功能强大的工具,用于模拟和分析化学反应的动力学过程。正确安装和配置软件是开始使用它的第一步。我们将分步骤介绍软件的安装过程,并提供一些基本配置的示例。

kkchenjj的博客 1556

二极管钳位电路、限幅电路和检波电路Multisim电路仿真

本文系统介绍了二极管钳位、限幅和检波三种基础电路的工作原理及Multisim仿真验证。钳位电路通过电容-二极管配合实现波形整体平移,将波峰或波谷固定在指定电压;限幅电路利用二极管导通特性削除信号超出设定阈值的部分;检波电路则通过半波整流和电容滤波从调幅波中提取音频信号。三种电路均通过Multisim仿真验证了理论分析结果,展示了二极管在信号处理中的关键作用。这些基础电路广泛应用于信号调理、电平保护和通信解调等领域。

XU157303764的博客 1133

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

上一篇: 【CUDA编程部署教程】第三章:模型解析与计算图优化
下一篇: 【CUDA编程部署教程】第三章 3.3 验证与调试:Polygraphy
VectorShift
博客等级 码龄1年 1843粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值