墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
1.3w累计阅读
1.4w+平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。
onnxruntime的CPU和GPU测试的方式，百度了一下没有找到合适的解决方式，后来问了其他同事，大概知道了。如果要测试CPU的推理时间，Python环境需要安装onnxruntime，如果测试GPU的推理时间，Python环境就需要卸载CPU版本，安装onnxruntime-gpu，然后进行推理时间测试。
|
2.66s-mac 2.505s-Linux CPU |
|
142.8ms-Linux GPU |
基于onnxruntime的C++版本CPU/GPU源码编译
基于onnxruntime的C++版本CPU/GPU源码编译 提示：基于onnxruntime的CPU/GPU源码编译，C++版本 文章目录基于onnxruntime的C++版本CPU/GPU源码编译前言一、源码地址二、步骤1.基础环境搭建2.源码编译3.注意事项总结 前言 一、ONNX Runtime是什么? ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎. 二、为什么要用ONNX Runtime? 微软在开源中提供了大量框架和引擎。第
onnx 模型转换及推理时间对比
1. 环境准备 对比时间，和模型训练的环境相同，可能额外要安装的包是onnxruntime. pip install onnxruntime # for cpu pip install onnxruntime-gpu # for gpu 2. 测试过程 直接上代码吧，代码就是最好的解释。 import cv2 import time import torch import numpy as np from torch.nn import DataParalle...
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(2)
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
onnx模型部署环境创建
onnxruntime推理CPU GPU切换
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
手把手教你做基于stm32的红外、语音、按键智能灯光控制（上）
这次项目使用的板子是stm32f103c8t6最小系统板，这个板子在tb上都能够买到，随便一个最小系统板都可以，== 注意在买最小系统板的时候需要买一个stlink下载器来下载程序。显示模块是使用的0.96英寸的OLED屏幕，注意是使用的IIC通信协议的OLED屏幕，不是使用SPI总线协议的。这次写的代码还顺便集成了检测温湿度的功能，所以要使用DHT11温湿度传感器，来采集温度。本文所设计的基于单片机的灯光控制系统主要由模式选择功能、手动模式和自动模式组成。LED灯自然就是要控制的部件了。
【YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比】
文章目录引言YOLOv5推理速度比较代码实现与说明 引言 我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。 软件版本与硬件规格 测试用的硬件与软件信息： GPU 1050Ti CPU i7八代 OS：Win10 64位 OpenVINO2021.4 ONNXRUNTIME：1.4 OpenCV4.5.4 Pyt
Origin作图——等高线图
最近做一个测试数据图，开始想通过用热图来展示，结果发现热图有很多的小方块，很难呈现出最好的效果，因为数据是有一层一层的递进效果，因此经过尝试后，发现等高线图是个好选择。 热图展示效果如下：其中有很多的小方块不适合，热图制图方法前面有记录。 下面展示等高线图制作方法。首先是导入数据，可以从excal导入，也可以直接复制进去。等方法。 选中要展示的数据，绘图----等高线图 选中箭头，确定。 双击图像，点击线，我们需要把线隐藏了. 双击图像，我们需要调色板，根据自己的选择，一般用调色板的颜色。
onnxruntime推理
onnx模型推理
GPU微架构演进分析--从SIMT到Scalar-Vector-Tensor计算的混合配比与调度
GPU架构经历了从专用计算模块到统一可编程处理器的演进。传统GPU面临专用电路配比难题，Nvidia Tesla架构通过引入可编程多线程处理器实现图形与计算的统一。Fermi架构进一步向计算倾斜，随后的架构陆续加入Tensor Core等专用单元。AI时代促成了从图形处理主导向AI计算的转变，形成了Scalar+Vector+Tensor的混合计算范式。SIMT调度重要性降低，CUDA面临新挑战，RISC-V等架构可能带来新机遇。
LinuxMint 22.1(Ubuntu24.04)下通过Wine完美运行同花顺远航版的实战指南
本文详细介绍了在LinuxMint 22.1(Ubuntu24.04)系统下通过Wine完美运行同花顺远航版的实战指南。从基础环境准备到深度优化，包括Wine环境配置、同花顺远航版安装、字体显示调优、任务栏兼容性修复等关键步骤，帮助Linux用户高效使用同花顺远航版进行股票交易和行情分析。
安装onnxruntime 推理加速
1、临时更改源 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnxruntime 如果是默认的源位置会很慢，更改以下为好 2、测试 cmd下键入python python>>> import onnxruntime python>>> onnxruntime.get_device() 'CPU' python>>> onnxruntime.get_available_pro
【代码审计】RuoYi定时任务漏洞：从SQL注入到RCE的攻防演变
本文深入剖析了RuoYi框架定时任务模块从早期版本无校验到引入黑白名单机制，再到被组合利用实现RCE的完整漏洞演变过程。文章详细分析了SQL注入与定时任务功能结合导致的远程代码执行漏洞，并总结了代码审计与安全开发的核心要点，为开发者提供了重要的安全参考。
ONNX模型部署利器ONNXRUNTIME框架
ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，可以通过设置不同的推理后台支持，包括：支持语言也非常丰富，不止于Python跟C++语言，支持列表如下：支持的操作系统包括Windows、Android、乌班图、iOS等。
RK3568平台（USB篇）USB基础知识
现象：把USB设备比如Android手机接到PC答1：是USB控制器，是USB控制器内嵌的root hub.答2. windows里已经有了USB的总线驱动程序，接入USB设备后，是"总线驱动程序"知道你是"android phone"提示你安装的是"设备驱动程序"。USB总线驱动程序负责：识别USB设备, 给USB设备找到对应的驱动程序。答3. PC的USB口内部，D-和D+接有15K的下拉电阻，未接USB设备时为低电平USB设备的USB口内部，D-或D+接有1.5K的上拉电阻；
Python调用CANoe（1）(启动与停止，变量和信号读写)
CANoe因为其封闭性（Vector独有），开发的时候，有很多局限性；Python 因为其开源，容易上手，功能强大，那么Python 和 CANoe结合会产生怎样的火花呢？
cv_resnet18_ocr-detection推理依赖库：onnxruntime安装教程
本文介绍了基于星图GPU平台自动化部署“cv_resnet18_ocr-detection OCR文字检测模型 构建by科哥”镜像的方法，结合onnxruntime实现高效OCR推理。该镜像适用于文档扫描、图像中文字识别等场景，支持CPU/GPU加速，助力AI应用快速开发与落地。
Python 爬虫教程：抓取交通流量和道路信息
Scrapy是一个强大的爬虫框架，适用于大规模的爬虫任务。它提供了高效的数据抓取和存储功能，支持数据清洗和解析操作。Scrapy特别适合用于抓取开放的API接口和数据流。
jetson 平台跑MLPerf
而apt install onnxruntime 通常是 CPU 版本，不包含 TensorRT 加速。如果出现GPU，说明安装Ok，如果是CPU 说明没有安装成功。，你可以在以下网站下载与编译的，也可以下载。
大中型超市收银系统(可直接运行)
光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开
VB摄像头监控
该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制
CenterPoint 部署攻略二（pth2onnx 基于mmengine）（动态多输入、多模型、校准验证）
针对 centerpoint 的构造(centerpoint_pillar02_second_secfpn_8xb4-cyclic-20e_nus-3d)，即：Det3DDataPreprocessor -> PillarFeatureNet -> PointPillarsScatter -> SECOND -> SECONDFPN -> CenterHead；系列二，主要就是 pth2onnx 的脚本及注释，本篇不涉及自定义算子，因此也是其他模型的通用模板！check 无报错且则 可视化。
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案
pytorch.onnx.export方法参数详解，以及onnxruntime-gpu推理性能测试
Torch.onnx.export执行流程： 1、如果输入到torch.onnx.export的模型是nn.Module类型，则默认会将模型使用torch.jit.trace转换为ScriptModule 2、使用args参数和torch.jit.trace将模型转换为ScriptModule，torch.jit.trace不能处理模型中的循环和if语句 3、如果模型中存在循环或者if语句，在执行torch.onnx.export之前先使用torch.jit.script将nn.Module转换为Sc
C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片
基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正
onnxruntime安装与使用（附实践中发现的一些问题）
关于onnxruntime的一些基本参考链接： onnxruntime官方文档 将pytorch模型转换为onnx模型并用onnxruntime进行推理(Pytorch官方文档) 一、onnxruntime安装 (1)使用CPU 如果只用CPU进行推理，通过下面这个命令安装。【如果要用GPU推理，不要运行下面这个命令】 pip install onnxruntime (2)使用GPU 安装命令为： pip install onnxruntime-gpu 安装 onnxruntime-gpu 注意事项
Yolov7如期而至，奉上ONNXRuntime的推理部署流程(CPU/GPU)
Yolov7如期而至，奉上ONNXRuntime的推理部署流程
[C++][onnxruntime]攻克onnxruntime之自动切换CPU和GPU
要求：如果你用的onnxruntime是cpu版本的就用cpu，如果你用onnxruntime是gpu版本则自动使用GPU，这样就不用每次换个库来回修改代码了。这个怎么实现呢，具体看下面代码。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1万+
扫一扫
