【DeploySharp】基于DeploySharp 的深度学习模型部署测试平台：支持YOLO全系列模型

1. 简介

​ 基于DeploySharp 开发的深度学习模型部署测试平台，提供了YOLO框架的主流系列模型，包括YOLOv5~v13，以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime，支持CPU、IGPU以及GPU多种设备推理。项目链接为：

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications

为方便更多开发者使用，此处提供了.NET 6.0以及.NET Framework 4.8的版本，均通过DeploySharp 实现，其链接为：

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%206.0/DeploySharp.OpenCvSharp-ApplicationPlatform		# .NET 6.0版本
https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%20Framework%204.8/DeploySharp.ImageSharp-ApplicationPlatform		# .NET Framework 4.8版本

下图为基于DeploySharp 开发的深度学习模型部署测试平台页面，可以通过自己需求选择模型类型、部署引擎以及推理设备。

下图为模型推理运行示例：

2. 模型支持情况

基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致，后续会跟着DeploySharp 迭代进行同步更新，具体支持的模型和推理引擎如下表所示：

Model Name	Model Type	OpenVINO	ONNX Runtime	TensorRT
YOLOv5	Detection	✅	✅	ing…
YOLOv5	Segmentation	✅	✅	ing…
YOLOv6	Detection	✅	✅	ing…
YOLOv7	Detection	✅	✅	ing…
YOLOv8	Detection	✅	✅	ing…
YOLOv8	Segmentation	✅	✅	ing…
YOLOv8	Pose	✅	✅	ing…
YOLOv8	Oriented Bounding Boxes	✅	✅	ing…
YOLOv9	Detection	✅	✅	ing…
YOLOv9	Segmentation	✅	✅	ing…
YOLOv10	Detection	✅	✅	ing…
YOLOv11	Detection	✅	✅	ing…
YOLOv11	Segmentation	✅	✅	ing…
YOLOv11	Pose	✅	✅	ing…
YOLOv11	Oriented Bounding Boxes	✅	✅	ing…
YOLOv12	Detection	✅	✅	ing…
Anomalib	Segmentation	✅	✅	ing…

3.模型运行时间测试

​ 在开发的模型部署平台上进行时间测试，当前的测试环境为：

• CPU: Intel® Core™ Ultra 9 288V
• IGPU: Intel® Arc™ 140V GPU (16GB)
• NPU: Intel® AI Boost

在同一环境下，对其中一些模型进行了测试，如下表所示：

Model Name	OpenVINO CPU	OpenVINO IGPU	OpenVINO NPU	ONNX Runtime CPU	ONNX Runtime OpenVINO CPU	ONNX Runtime DirectML IGPU
YOLOv5s-det	16.84 FPS	60.23 FPS	48.36 FPS	21.06 FPS	16.80 FPS	40.11 FPS
YOLOv5-seg	8.91 FPS	21.24 FPS	20.11 FPS	10.86 FPS	8.56 FPS	16.54 FPS
YOLOv8s-det	12.02 FPS	67.74 FPS	51.84 FPS	14.84 FPS	11.52 FPS	36.38 FPS
YOLOv8s-seg	6.30 FPS	15.96 FPS	14.09 FPS	7.17 FPS	6.24 FPS	12.71 FPS
YOLOv8s-obb	4.61 FPS	35.13 FPS	20.02 FPS	5.62 FPS	4.56 FPS	15.80 FPS
YOLOv11s-det	13.48 FPS	62.40 FPS	53.51 FPS	15.71 FPS	13.41 FPS	38.83 FPS
YOLOv11s-seg	6.64 FPS	16.18 FPS	14.46 FPS	7.55 FPS	6.59 FPS	12.74 FPS
YOLOv11s-obb	5.58 FPS	33.14 FPS	19.99 FPS	6.35 FPS	5.56 FPS	17.87 FPS

  最后如果各位开发者在使用中有任何问题，欢迎大家与我联系。