【DeploySharp 】基于DeploySharp 的深度学习模型部署测试平台：安装和使用流程

最新推荐文章于 2025-12-03 09:31:24 发布
原创 最新推荐文章于 2025-12-03 09:31:24 发布 · 970 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #openvino #c# #开源

【投稿赢 iPhone 17】「我的第一个开源项目」故事征集：用代码换C位出道！ 10w+人浏览 1.7k人参与

部署运行你感兴趣的模型镜像

文章目录

1. 程序获取和下载

  基于DeploySharp 开发的深度学习模型部署测试平台，提供了YOLO框架的主流系列模型，包括YOLOv5~v13，以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime，支持CPU、IGPU以及GPU多种设备推理。项目链接为：

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications

  如果你想快速使用该平台，可以加入QQ技术交流群通过群文件下载，或者通过GitHub在DeploySharp 项目中下载。

 git clone https://github.com/guojin-yan/DeploySharp.git
 cd DeploySharp/applications

  打开指定目录后，直接打开DeploySharp-Applications.sln解决方案即可。

image-20251003123525415

  打开解决方案后，资源管理器中有两个项目，一个是.NET 6.0框架，一个是.NET Framework 4.8框架，用户可以根据自己需求进行运行。

image-20251003123554619

  程序运行后页面如下图所示：

image-20251002182043813

2. 平台介绍

2.1 支持的模型选项

基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致，后续会跟着DeploySharp 迭代进行同步更新，具体支持的模型：

image-20251003131537123

开发者在使用时，可以根据自己需求进行选择，但在使用时，模型路径“Model Path”选择的模型类型，要和“Model Type保持一致，否者程序运行可能出差或者结果出现错误。

2.2 支持的推理引擎工具

基于DeploySharp 开发的深度学习模型部署测试平台所支持多种推理引擎，其中已经开发完成并已经支持的有OpenVINO和ONNX Runtime，其中TensorRT正在开发中，不日后会完成支持。

image-20251003131610600

其中当推理设备选择ONNX Runtime时，还可以选择ONNX Runtime运行的推理引擎，支持的内容如下图所示：

image-20251003131828937

​ ONNX Runtime支持的更多加速方式，需要用户自己进行代码构建，其构建流程与方式，参考官方教程即可，链接为：

https://runtime.onnx.org.cn/docs/execution-providers/

2.3 支持的推理设备

同时用户还可以选择不同的推理设备，包括AUTO、CPU、GPU0、GPU1、NPU，其中GPU0、GPU1表示的含义要在使用的推理引擎工具中确定。

image-20251003131706230

3. 推理引擎和设备匹配使用

推理引擎推理设备ONNX加速
OpenVINOAUTO，CPU，GPU0(Intel 集显)，GPU1(Intel 独显)，NPUDefault
ONNX RuntimeCPUDefault
ONNX RuntimeAUTO，CPU，GPU0(Intel 集显)，GPU1(Intel 独显)，NPUOpenVINO
ONNX RuntimeGPU0(英伟达独显)，GPU1(英伟达独显)Cuda
ONNX RuntimeGPU0，GPU1DML

4. 程序运行示例

在对应的项目中，图像处理库已经安装，不同项目就是使用的不同图像处理库，下面演示使用不同的模型推理引擎使用流程。

4.1 OpenVINO推理

所下载的项目中已经配置好了OpenVINO环境，选择模型和图片后，直接运行即可。推理结果如下图所示：

image-20251003141905755

如果使用的是.NET Framework 4.8框架，在程序运行前，请卸载并重新安装一下OpenVINO.runtime.win NuGet Package，重新生成项目后，进入到项目bin/Debug或者bin/Release目录，找到该目录下的文件夹dll/win-x64，在该目录下可以看到openvino_c.dll文件，然后将该目录下所有文件，复制到bin/Debug或者bin/Release目录下，重新再生成一下项目。如果使用的.NET 6.0框架，

4.2 ONNX Runtime推理

如果只是用ONNX Runtime推理，不需要安装其他的依赖既可以使用，默认只能使用CPU推理，如下图所示：

image-20251003143004837

4.3 ONNX Runtime推理 + OpenVINO加速

如果是用ONNX Runtime推理并配合OpenVINO加速，则需要安装额外的依赖库:

Intel.ML.OnnxRuntime.OpenVino

安装完成后，运行程序即可，其中原生OpenVINO支持的推理设备AUTO、CPU、GPU0(Intel 集显)、GPU1(Intel 独显)、NPU，在此处均可以使用，如下图所示：

image-20251003144046348

如果使用的是.NET Framework 4.8框架，安装完Intel.ML.OnnxRuntime.OpenVino后，如果依旧报错：”无法在 DLL“onnxruntime”中找到名为“OrtSessionOptionsAppendExecutionProvider_OpenVINO”的入口点。”，可以找到Intel.ML.OnnxRuntime.OpenVino包目录，然后将该目录下的所有dll文件，复制到项目的bin/Debug或者bin/Release目录下即可。

4.4 ONNX Runtime推理 + DML加速

如果是用ONNX Runtime推理并配合DML加速，则需要安装额外的依赖库:

Microsoft.ML.OnnxRuntime.DirectML

安装完成后，运行程序即可，此处可以使用GPU、GPU1，如下图所示：

image-20251003145255956

  以上便是基于DeploySharp 开发的深度学习模型部署测试平台的安装和使用教程。最后如果各位开发者在使用中有任何问题，欢迎大家与我联系。

image-20250224211044113

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

DeploySharp开源发布：让C#部署深度学习模型更加简单
kalvin_y_liu的博客
10-06 871
DeploySharp是一个专为C#开发者设计的跨平台深度学习模型部署框架，支持多种YOLO系列模型和Anomalib模型。它提供模块化架构设计，支持OpenVINO和ONNX Runtime推理引擎，兼容.NET 4.8及.NET 6/7/8/9平台。框架包含图像处理、异步推理、批量处理等功能，并提供完善的开发者支持体系（多语言文档、日志系统、示例代码等）。用户可通过NuGet灵活选择不同图像处理方案（ImageSharp/OpenCvSharp）和推理引擎组合，实现快速模型部署。项目遵循Apache 2
【DeploySharp】DeploySharp开源发布：让C#部署深度学习模型更加简单
grape_yan的博客
10-02 1182
DeploySharp：面向C#开发者的跨平台模型部署框架 DeploySharp是一款专为C#开发者设计的深度学习模型部署框架，支持OpenVINO和ONNX Runtime推理引擎，兼容YOLOv5-v12全系列模型以及Anomalib等主流模型。该框架采用模块化设计，通过核心命名空间DeploySharp集成模型加载、推理执行等功能，支持图像分类/检测/分割等任务。
YoloV5-Seg(实例分割)C#+.netFramework4.8读取yolov5实例分割onnx模型推理（openvino GPU和opencv CPU均可）
04-24
VS2022 YOLOv5 实例分割介绍 YOLOv5 是一个快速且高效的实时目标检测框架，由 Ultralytics 团队维护。虽然 YOLOv5 最初主要用于目标检测任务，但它通过结合其他技术（如 Mask R-CNN 的实例分割模块），可以扩展到实例分割任务中。以下是对 YOLOv5 实例分割的详细介绍： 1. 实例分割简介 实例分割是一种计算机视觉任务，旨在同时检测图像中的对象并为每个对象生成精确的像素级掩码。与语义分割不同，实例分割不仅区分类别，还区分不同的实例（例如，将同一类别的两个对象区分开来）。 2. YOLOv5 实例分割的实现方式 YOLOv5 实例分割的核心思想是将目标检测与掩码预测结合起来，具体实现方式如下： 基于检测框的掩码生成：首先通过 YOLOv5 框架检测目标，并获取每个目标的边界框。 掩码预测模块：在检测的基础上，增加一个掩码分支，用于为每个检测框生成对应的像素级掩码。 融合机制：将检测框的定位信息与掩码分支的像素级信息结合起来，从而实现精准的实例分割。 3. YOLOv5 实例分割的模型架构 YOLOv5 实例分割的模型通常是在基础 YOLOv5 模型上进行扩展，主要包括以下几个模块： 主干网络：用于提取特征图（如 YOLOv5 中的 CSPDarknet53 或 EfficientNet）。 FPN（Feature Pyramid Network）：用于多尺度特征融合。 检测头：包含分类分支、回归分支和掩码分支。 掩码分支：负责生成像素级掩码，通常使用 U-Net 或类似结构。 4. YOLOv5 实例分割的优势 高效性：YOLOv5 以其快速推理速度著称，在实例分割任务中仍能保持较高的效率。 灵活性：支持多种模型大小（如 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x），适应不同硬件环境。
ONNX Runtime支持多平台推理
weixin_35266799的博客
11-03 862
ONNX Runtime通过统一中间表示和多平台支持，实现高效、低延迟的AI模型推理，涵盖架构设计、优化技术及跨平台部署实践。
【Yolo v8 window系统使用AMD GPU进行训练】
买榴莲也用券的博客
08-19 2339
将你的YOLO model转换成 ONNX格式。
Onnxruntime c接口说明及 动态调用示例
straka的博客
08-02 5402
Onnxruntime c接口说明及动态调用示例 背景： 需要onnx模型推理的功能，直接引用onnxruntime代码会引起编译问题。所以考虑动态加载onnxruntime的动态库完成。C++的接口依然需要源码依赖，所以考虑使用onnxruntime的c接口。 1.How to access Onnxruntime C API: 要访问c api，需要拿到 c api的函数指针，而onnxruntime 的所有capi定义在 一个结构体中： https://github.com/microsof
QT----使用onnxRuntime运行图像分类模型
混吃等死，偶尔搞点好玩的
10-23 713
开始]↓初始化 ONNX 环境↓配置 GPU/CPU↓加载 convnext.onnx 模型↓读取输入输出形状↓预处理图像 (resize+normalize)↓构建输入张量↓执行推理 session.Run()↓后处理结果 (softmax + argmax)↓输出预测类别与置信度[结束]
大模型部署难题一网打尽（ONNX Runtime实战指南）
FuncWander的博客
10-02 333
轻松解决大模型部署难题，详解大模型推理引擎ONNX Runtime实战技巧。覆盖模型优化、跨平台部署与性能加速，支持多种框架转换，显著提升推理效率。适用于NLP、CV等场景，值得收藏的实战指南。
DeploySharp开源发布：让C#部署深度学习模型更加简单
2301_76476890的博客
10-05 830
DeploySharp是一个面向C#开发者的跨平台深度学习模型部署框架，支持OpenVINO和ONNXRuntime推理引擎，兼容YOLOv5-v12等主流模型。该框架提供模块化架构设计、多引擎支持、高性能异步推理能力，并集成图像处理工具（OpenCvSharp/ImageSharp）。开发者可通过NuGet快速安装，支持多种硬件加速方案（CUDA/DML等）。项目开源遵循Apache 2.0协议，提供中英双语文档和示例代码，未来计划扩展TensorRT支持。适用于桌面应用、控制台程序等场景，助力C#生态中
揭秘ONNX Runtime底层架构：如何实现大模型推理效率提升300%？
VarFun的博客
10-02 774
揭秘大模型推理引擎ONNX Runtime如何提升推理效率300%，通过图优化、算子融合与硬件加速协同，广泛应用于AI推理部署场景。解析底层架构设计与性能调优策略，显著降低延迟与资源消耗，值得收藏，点击了解实现细节。
高通WOS AI开发之 ONNX运行时(二)
weixin_38498942的博客
12-19 1481
DirectML EP 是一款功能强大且用途广泛的工具，旨在加速各种硬件平台上的机器学习工作负载。通过利用 DirectML 的功能，开发人员可以优化他们的机器学习模型，使其在不同类型的处理单元（包括 GPU、NPU 以及通过 WebNN 实现的基于 Web 的应用程序）上高效运行。这种灵活性可确保机器学习应用程序能够实现高性能和可扩展性，而不管底层硬件如何。DirectML EP 与流行的机器学习框架无缝集成，提供一致且高性能的执行环境。它抽象了硬件特定优化的复杂性，使开发人员可以专注于模型开发和部署。
革新C#深度学习部署：DeploySharp框架全方位解析与实战指南
weixin_54447959的博客
10-21 472
DeploySharp是一款面向C#开发者的跨平台深度学习模型部署框架，其核心目标是降低C#生态与深度学习模型的集成门槛，为开发者提供简洁、高效、灵活的端到端部署方案。该框架采用先进的模块化命名空间设计，将复杂的部署流程拆解为多个独立且可扩展的功能模块，既保证了架构的清晰性，又为后续功能扩展预留了充足空间。与传统部署方案相比，DeploySharp具有显著的技术优势。
【卷积神经网络】卷积层、池化层、全连接层
一杯水果茶！足矣~
11-29 1783
卷积神经网络通过三维输入数据（h×w×c）直接提取特征，相比传统神经网络能更好地保留空间信息。其核心架构包含卷积层、池化层和全连接层，其中只有带权重参数的层（如卷积层和全连接层）计入网络深度。卷积层通过滑动窗口、步长调节、边缘填充和多核设计实现多层次特征提取，小卷积核堆叠既能扩大感受野又能减少参数量。感受野随网络深度递推增长，计算公式为RF_new = RF_prev + (k-1)×S_prev，这种层级结构使浅层提取局部特征，深层捕获全局特征。
深度学习理论推导--多元线性回归
weixin_43719312的博客
12-02 749
本文介绍了多元线性回归的矩阵表示与求解方法。首先通过矩阵运算展示了如何从一元线性回归扩展到多元情形，推导出预测值的矩阵表达式。然后定义了残差平方和(RSS)的矩阵形式。最后详细阐述了利用链式法则对参数求导的过程，说明如何通过最小化残差平方和来求解最优参数。全文以矩阵运算为核心，展示了多元线性回归的简洁数学表达和求解思路。
深度学习理论推导--梯度下降法
weixin_43719312的博客
12-02 916
本文通过小猪体重增长的例子，生动解释了梯度下降法的原理。首先回顾线性回归的求解方法（最小二乘法和正规方程），指出非线性问题的局限性。然后以二元函数z=1+x+2y为例，通过微分推导证明：在微观尺度下，当增量方向与梯度方向一致时，函数增长最快。文中详细分析了不同方向上的增量变化，并用向量运算说明梯度方向的重要性。最后指出梯度向量∇z=[1,2]^T即为函数增长最快的方向，为后续讲解梯度下降法奠定了基础。
【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 431
动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1139
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习1.1-软件安装-Anaconda软件与pyCharm软件安装
最新发布
诚朴勇毅
12-03 582
为了研究深度学习与信号处理的结合，我又开始搞起了深度学习，博一的时候浅试过一次都失败了，这次打算学习一下Pytorch和一些最新的网络，好好做几篇论文。首先就是搭环境。我先安装了一个Anaconda，从网上搜了一大堆，我的理解是，Anaconda就是一个包管理器，因为pythoh版本太多了，而且要装的包也很多，各种包之间容易产生冲突，为了杜绝这个问题，我们可以安装一个Anaconda，它就像一个虚拟机，可以创建不同的操作系统，我们创建的不同任务和工程可以跑在不同的环境下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

椒颜皮皮虾྅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值