【OpenVINO™】使用 OpenVINO™ C# API 部署 YOLOv9 目标检测和实例分割模型（上篇）

YOLOv9模型是YOLO系列实时目标检测算法中的最新版本，代表着该系列在准确性、速度和效率方面的又一次重大飞跃。它通过引入先进的深度学习技术和创新的架构设计，如通用ELAN（GELAN）和可编程梯度信息（PGI），显著提升了物体检测的性能。在本文中，我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署YOLOv9 目标检测和实例分割模型。

OpenVINO™ C# API项目链接：

https://github.com/guojin-yan/OpenVINO-CSharp-API.git

使用 OpenVINO™ C# API 部署 YOLOv9 全部源码：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/tree/master/model_samples/yolov9

1. 前言

1.1 OpenVINO™ C# API

英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发，可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，适用于从边缘到云的各种英特尔平台上，帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程，OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。

2024年3月7日，英特尔发布了开源 OpenVINO™ 2024.0 工具包，用于在各种硬件上优化和部署人工智能推理。OpenVINO™ 是英特尔出色的开源 AI 工具包，不仅可以在 x86_64 CPU 上加速 AI 推断，还可以在 ARM CPU 和其他架构、英特尔集成显卡和独立显卡等硬件上加速 AI 推断，包括最近推出的 NPU 插件，用于利用新酷睿超 “Meteor Lake “系统芯片中的英特尔神经处理单元。 OpenVINO™ 2024.0 更注重生成式人工智能（GenAI），为 TensorFlow 句子编码模型提供了更好的开箱即用体验，支持专家混合（MoE）。同时还提高了 LLM 的 INT4 权重压缩质量，增强了 LLM 在英特尔 CPU 上的性能，简化了 Hugging Face 模型的优化和转换，并改进了其他 Hugging Face 集成。

OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper，应用最新的 OpenVINO™ 库开发，通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用，使用习惯与 OpenVINO™ C++ API 一致。OpenVINO™ C# API 由于是基于 OpenVINO™ 开发，所支持的平台与 OpenVINO™ 完全一致，具体信息可以参考 OpenVINO™。通过使用 OpenVINO™ C# API，可以在 .NET、.NET Framework等框架下使用 C# 语言实现深度学习模型在指定平台推理加速。

下表为当前发布的 OpenVINO™ C# API NuGet Package，支持多个目标平台，可以通过NuGet一键安装所有依赖。

Core Managed Libraries

Package	Description	Link
OpenVINO.CSharp.API	OpenVINO C# API core libraries
OpenVINO.CSharp.API.Extensions	OpenVINO C# API core extensions libraries
OpenVINO.CSharp.API.Extensions.OpenCvSharp	OpenVINO C# API core extensions libraries use OpenCvSharp
OpenVINO.CSharp.API.Extensions.EmguCV	OpenVINO C# API core extensions libraries use EmguCV

Native Runtime Libraries

Package	Description	Link
OpenVINO.runtime.win	Native bindings for Windows