ONNX Runtime 源码阅读：引擎运行过程总览

最新推荐文章于 2025-02-24 21:14:52 发布
最新推荐文章于 2025-02-24 21:14:52 发布
阅读量3.4k 收藏 11
点赞数 11
分类专栏： C/C++ DL/ML 文章标签： onnx runtime 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZM_Yang/article/details/105158051
版权
本文从宏观角度探讨ONNX Runtime的运行过程，包括实例化、初始化、模型加载、注册Provider和Kernel、模型分区、模型节点执行顺序的确定以及推理。文中通过UML图展示关键类及其关系，并详细阐述每个步骤，帮助读者理解ONNX Runtime的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
ONNX Runtime 源码阅读：模型推理过程概览
SunnyZhou-1024的博客
01-14 1万+
简介 ONNX Runtime是一个用于ONNX(Open Neural Network Exchange)模型推理的引擎。微软联合Facebook等在2017年搞了个深度学习以及机器学习模型的格式标准–ONNX，顺路提供了一个专门用于ONNX模型推理的引擎，onnxruntime。目前ONNX Runtime 还只能跑在HOST端，不过官网也表示，对于移动端的适配工作也在进行中。 一半处于工作需...
ONNX Runtime 源码阅读：模型分区的实现
SunnyZhou-1024的博客
03-13 3187
为了实现高效的推理，神经网络推理引擎应该尽可能将主机（Host）上能提供更高效计算的硬件设备（Device）利用上，ONNX Runtime当然不能例外。ONNX Runtime目前已经支持了多种不同设备，移动端的支持也在开发中。一台主机上很可能同时存在多种设备，ONNX Runtime是如何选择在那种设备上运行的呢（也就是怎么分区）？对于某些运行时不支持的操作怎么处理（回落）？不同硬件的运行时优先级怎么确定呢？这些就是本文探究的主要内容。
一文搞懂ONNX-Runtime综述&使用&源码分析（持续更新）
奇华资料的博客
09-25 2215
onnx-runtime可以加载onnx或者ort格式的模型--- onnx 模型，即原始的onnx模型，为protobuf格式存储--- ort模型，onnx-runtime将onnx模型经过图优化等保存下来的模型，采用flatbuffer，性能更好，体积更小整体而言，onnx-runtime为了支持多设备多平台，做了很多复杂的事情，整体的推理软件栈的思路还是一致的；flatbuffer也是替代protobuf的一种很好的方式。
“深入浅出”系列之C++：（25）C++模型部署：qt+yolov5/6+onnxruntime+opencv
最新发布
weixin_65589140的博客
02-24 908
CMake的所有的语句都写在一个叫:CMakeLists.txt的文件中（cmake会根据该文件中的配置完成最终的编译，构建，打包，测试等一系列任务）。CMake 允许开发者编写一种平台无关的 CMakeList.txt 文件来定制整个编译流程，然后再根据目标用户的平台进一步生成所需的本地化 Makefile 和工程文件（Cmake 并不直接建构出最终的软件，而是产生标准的建构档），如 Unix 的 Makefile 或 Windows 的 Visual Studio 工程，然后再依一般的建构方式使用。
onnxruntime-projects:一些onnxruntime项目的代码
05-10
onnxruntime项目 介绍 该存储库包含一些onnxruntime项目的代码，例如分类，分段，检测，样式转换和超分辨率。 Onnx运行时 ONNX Runtime是面向性能的完整评分引擎，适用于开放神经网络交换（ONNX）模型，具有开放可扩展的体系结构，可不断解决AI和深度学习的最新发展。 在我的存储库中，onnxruntime.dll已被编译。 您可以下载它，并在查看有关onnxruntime的特定信息。 专案 编程语言是C ++，平台是Visual Studio。 我已经基于onnxruntime官方样本完成了一些项目。 该链接已在前面提到过。 另外，您可以在下载一些onnx模型。 如有必要，您可以在看到onnx模型的结构。 视窗 网络 班级 输入分辨率 批量大小 迭代次数 CPU运行时间 GPU运行时间 TRT运行时间* 移动网 1000 224x224 1个 1000
源码编译onnxruntime（打开onednn/oneapi）
qq_42738654的博客
11-19 2776
本文使用源码编译ort框架原因是需要打开某些开关（比如one-api），0.4.0版本有–openmp,–use_mkl,–use_mkldnn，–use_openvino等等开关，现在编译1.9.1版本的ort，openmp作者不建议打卡，当然可以自己调用线程数来加速，重要的是use_dnnl（mkldnn，mkl）这个开关，现在已经讲mkl，mkldnn合并。下面有一些注意事项，一切还是以官方文档为准。 官方编译文档 https://onnxruntime.ai/docs/build/inferenc
ONNX Runtime 源码阅读：模型结点串行执行顺序的确定
SunnyZhou-1024的博客
01-17 3524
概要 ONNX模型中的结构是一个有向图，包含了很多节点。每个节点执行一个特定的操作，最终就得到了推理结果。ONNX模型格式标准并没有要求所有节点按照拓扑顺序来存储，进行模型解析的时候也基本不要求解析出来的节点一定要符合拓扑顺序排列。有些模型很简单，从输入到输出，可能只有一条通路；有些模型很复杂，不仅输入和输出节点间存在多条通路，还有可能存在多个输入和输出节点。ONNX Runtime 是如何确定模...
ubuntu 编译onnxruntime源码
一千零一夜的博客
04-29 3770
编译成功截图： 1.拉取源码 # clone指定分支 发布版1.7.2 git clone -b rel-1.7.2 https://github.com/microsoft/onnxruntime.git # 拉取子项目 git submodule update --init --recursive 拉取子项目非常耗时，可以点击下面的子项目链接，下载下来，再解压复制到对应的目录中 检查是否还有子类项目需要拉取： git submodule update --init --rec.
基于onnxruntime的C++版本CPU/GPU源码编译
三横先生的博客
06-01 9764
基于onnxruntime的C++版本CPU/GPU源码编译 提示：基于onnxruntime的CPU/GPU源码编译，C++版本 文章目录基于onnxruntime的C++版本CPU/GPU源码编译前言一、源码地址二、步骤1.基础环境搭建2.源码编译3.注意事项总结 前言 一、ONNX Runtime是什么? ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎. 二、为什么要用ONNX Runtime? 微软在开源中提供了大量框架和引擎。第
Python-ONNXRuntime是跨平台高性能ONNX模型运行引擎
08-11
ONNX Runtime是跨平台高性能ONNX模型运行引擎
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
yangyu0515的博客
04-28 4280
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
onnxruntime：ONNX Runtime：跨平台，高性能ML推理和训练加速器
02-03
ONNX Runtime是一个跨平台的推理和培训加速器，与许多流行的ML / DNN框架兼容，包括PyTorch，TensorFlow / Keras，scikit-learn等。 许多用户可以从ONNX Runtime中受益，包括那些希望： 提高各种ML模型的推理性能 减少培训大型模型的时间和成本 使用Python进行培训，但可以部署到C＃/ C ++ / Java应用程序中 在不同的硬件和操作系统上运行 在多个不同框架中创建的支持模型 自2019年10月以来， API稳定且可投入生产，可实现更快的客户体验和更低的成本。 2020年5月在预览中引入了功能。 此功能支持针对变压器模型在多节点NVIDIA GPU上加速PyTorch培训。 此功能的其他更新即将推出。 目录 开始使用 推论：开始 要使用ONNX运行时，请参阅表上针对不同版本组合指令。 兼容性 运行时支持基于标准格式的模型，与PyTorch，scikit-learn，TensorFlow，Keras以及所有其他支持互操作格式的框架和工具兼容。 自ONNX v1.2.1 +起，ONNX Runtime是最新的，并且与所
onnxruntime-inference-examples:使用ONNX Runtime进行机器学习推理的示例
04-10
项目 此回购已使用初始模板填充，以帮助您入门。 请确保更新内容，以为社区建设创造良好的体验。 作为该项目的维护者，请进行一些更新： 改进此README.MD文件可提供出色的体验 使用有关该项目的支持经验的内容更新SUPPORT.MD 了解SECURITY.MD中的安全报告过程 从自述文件中删除此部分 贡献 该项目欢迎您的贡献和建议。 大多数捐款要求您同意一份《捐款者许可协议》（CLA），声明您有权并实际上授予我们使用您的捐款的权利。 有关详细信息，请访问 。 当您提交拉取请求时，CLA机器人会自动确定您是否需要提供CLA并适当地装饰PR（例如，状态检查，评论）。 只需按照机器人提供的说明进行操作即可。 您只需使用我们的CLA在所有存储库中执行一次此操作即可。 该项目采用了。 有关更多信息，请参见或与联系，并提出其他任何问题或意见。 商标 该项目可能包含项目，产品或服务的商标或徽标
Window10 ONNX Runtime 源码编译静态库 + MMDeploy源码编译动态库
qq_19797871的博客
11-30 1107
管理员运行cmd ->cd /d D:/develop/onnxruntime。尝试过编译静态库，编译成功，但是在运行中出现model加载失败未找到原因，就放弃了。4、使用vs2019命令工具的lib.exe命令来把多个lib打包成一个lib。3、用vs2019打开生成的onnxruntime项目。2、管理员运行命令行进入onnxruntime目录。一、ONNX Runtime（v1.12.0）源码编译。正常编译会生成很多lib库。二、MMDeploy源码编译动态库。
使用ONNXRuntime部署阿里达摩院开源DAMO-YOLO目标检测，一共包含27个onnx模型(代码开源)...
gzq0723的博客
12-11 301
2022点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院学习群｜扫码在主页获取加入方式获取代码｜关注并回复“onnx部署”01概述ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。虽然大家用ONNX时更多的是...
【AI芯片】ONNXRuntime
qq_35608277的博客
05-13 1940
ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。 虽然大家用ONNX时更多的是作为一个中间表示，从pytorch转到onnx后直接喂到TensorRT或MNN等各种后端框架，但这并不能否认ONNXRuntime是一款非常优秀的推理框架。而且由于其自身只包含推理功能（最新的ONNXRuntime甚至已经可以训练），通过阅读其
使用ONNX Runtime推理引擎进行加速（Pytorch----＞Onnx----＞ONNX Runtime）
weixin_54202028的博客
08-12 4343
OpenMMLab 的算法如何部署？是很多社区用户的困惑。而模型部署工具箱 MMDeploy的开源，强势打通了从算法模型到应用程序这 "最后一公里"！中间表示 ONNX 的定义标准PyTorch 模型转换到 ONNX 模型的方法推理引擎 ONNX Runtime、TensorRT 的使用方法部署流水线 PyTorch - ONNX - ONNX Runtime/TensorRT 的示例及常见部署问题的解决方法MMDeploy C/C++ 推理 SDK。...
OnnxRuntime-UnrealEngine 开源项目指南
gitblog_00541的博客
08-24 835
OnnxRuntime-UnrealEngine 开源项目指南 项目地址:https://gitcode.com/gh_mirrors/on/OnnxRuntime-UnrealEngine 项目介绍 OnnxRuntime-UnrealEngine 是微软推出的一个将 ONNX（开放神经网络交换格式）模型集成到 Unreal Engine 游戏引擎中的开源项目。此项目旨在加速游戏内人工智能和机...
onnxruntime源码编译
大山的专栏
05-27 6407
onnxruntime源码编译CMakeLists.txt中gpu参数设置 set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -gencode=arch=compute_62,code=sm_62") # tx2 set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -gencode=arch=compute_53,code=sm_53") # nano set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -ge
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值