Mobile-Deep-Learning项目中使用Intel OpenVINO加速推理的完整指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00507/article/details/148464779

Mobile-Deep-Learning项目中使用Intel OpenVINO加速推理的完整指南

Paddle-Lite 项目地址: https://gitcode.com/gh_mirrors/pad/Paddle-Lite

项目背景与概述

Mobile-Deep-Learning（MDL）是一个专注于移动端和边缘设备深度学习推理的高性能框架。在X86服务器环境下，MDL通过集成Intel OpenVINO工具套件，能够显著提升深度学习模型的推理性能。本文将详细介绍如何在MDL项目中配置和使用OpenVINO进行高效推理。

OpenVINO集成原理

MDL采用创新的子图接入方式实现与OpenVINO的集成，其核心技术流程如下：

模型分析阶段：MDL运行时动态解析Paddle模型结构
算子转换阶段：将Paddle原生算子转换为统一的NNAdapter标准算子
网络构建阶段：通过OpenVINO组网API(2.0版本)重构计算图
执行阶段：在线生成优化后的模型并执行推理

这种设计实现了Paddle模型到OpenVINO的无缝转换，同时保持了框架的灵活性和扩展性。

环境准备与验证

硬件支持

目前支持所有搭载Intel处理器的X86架构服务器，包括但不限于：

Intel Xeon系列服务器CPU
Intel Core系列桌面CPU

软件要求

操作系统支持：

Ubuntu 18.04 LTS (64位)
Ubuntu 20.04 LTS (64位)

OpenVINO版本：

推荐使用OpenVINO 2022.1版本

环境配置步骤

安装OpenVINO运行时：

# 下载安装包后执行
l_openvino_toolkit_p_2022.1.0.643_offline.sh -a -s --eula accept

验证环境变量：安装完成后，确保以下环境变量已正确设置：

INTEL_OPENVINO_DIR
LD_LIBRARY_PATH
PATH

已验证模型列表

MDL已对多种计算机视觉任务的主流模型进行了充分验证：

图像分类模型

经典CNN架构：ResNet50、VGG16、MobileNet系列
轻量级网络：GhostNet、ShuffleNetV2
视觉Transformer：ViT、DeiT

目标检测模型

单阶段检测器：YOLOv3/v4、PP-YOLO系列
轻量检测器：PicoDet、SSD系列

其他任务模型

文本识别：PP-OCR系列
图像分割：DeepLabV3+、PP-HumanSeg
姿态估计：PP-TinyPose

快速开始示例

示例程序结构

下载的示例包包含以下关键内容：

PaddleLite-generic-demo/
├── image_classification_demo/
│   ├── assets/              # 配置文件和数据
│   ├── models/              # 预训练模型
│   └── shell/               # 运行脚本和源码
└── libs/
    ├── PaddleLite/          # MDL框架库
    └── OpenCV/              # 图像处理库

运行图像分类示例

cd PaddleLite-generic-demo/image_classification_demo/shell/

执行基准测试（纯CPU模式）：

./run.sh resnet50_fp32_224 imagenet_224.txt test linux amd64

启用OpenVINO加速：

./run.sh resnet50_fp32_224 imagenet_224.txt test linux amd64 intel_openvino

性能对比

以ResNet50为例，典型性能对比数据：

| 运行模式 | 推理时间(ms) | 加速比 | |---------|------------|-------| | 纯CPU | 158.3 | 1x | | OpenVINO| 16.4 | 9.6x |

高级定制指南

自定义模型部署

准备Paddle模型：
- 确保使用支持的算子
- 导出为non-combined格式（分离的模型结构和参数）
修改配置文件：
- 更新imagenet_224.txt中的模型路径
- 调整输入输出配置
添加自定义标签：
- 编辑synset_words.txt文件

从源码构建

获取MDL源码：

git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite
git checkout <release-tag>

编译支持OpenVINO的版本：

./lite/tools/build_linux.sh \
  --arch=x86 \
  --with_extra=ON \
  --with_nnadapter=ON \
  --nnadapter_with_intel_openvino=ON \
  --nnadapter_intel_openvino_sdk_root=/opt/intel/openvino_2022 \
  full_publish

更新部署库：

# 替换include目录
cp -rf build.lite.linux.x86.gcc/inference_lite_lib/cxx/include/ PaddleLite-generic-demo/libs/PaddleLite/linux/amd64/include/

# 更新运行时库
cp build.lite.linux.x86.gcc/inference_lite_lib/cxx/lib/lib*.so PaddleLite-generic-demo/libs/PaddleLite/linux/amd64/lib/intel_openvino/