【唯快不破】OpenVINO2025实现CPU上YOLO11推理超200+FPS

OpenVINO2025介绍

OpenVINO2025已经支持多种方式的模型加速部署方式，C++ SDK 代码层面支持通过CPU与集成显卡实现同步、异步推理，通过流水线方式代码实现三种加速模式分别是：

1. 异步流水线
2. 异步回调流水线
3. 异步队列流水线

针对模型层面可以通过PTQ量化与WC量化实现模型从FP32到INT8转换，从而提升推理速度。

本文针对OpenVINO2025提供模型部署与代码加速SDK，实现了YOLO11对象检测模型从30+FPS到200+FPS得性能提升（全程基于酷睿i7 CPU），实现了对YOLO系列模型推理全面加速。

对比测试如下

单个推理请求 同步模式

单个推理请求 INT8量化 同步模式

异步流水线2个推理请求

异步回调流水线- 2个请求

异步队列模型 - 四个推理请求

CPU 开启 Iris® 集显 异步队列模式

我已经把上面全面封装为SDK C++代码，支持直接调用，调用队列异步推理客户端代码如下：

std::string onnxpath = "D:/python/yolov5-7.0/yolo11n.xml";
std::string labelpath = "D:/python/yolov5-7.0/classes.txt";
std::shared_ptr<YOLO11AsyncQueueDetector> detector(new YOLO11AsyncQueueDetector());
detector->initConfig(onnxpath, label_map, 0.25f);
detector->detect("D:/images/video/play_scoers.mp4");

需要全部加速推理代码，请点击这里自己下载
OpenVINO2025 + YOLO11异步推理加速代码下载