【MMDeploy&MMPose】手把手教你在Windows上使用MMDeploy1.x进行ONNX和TensorRT的部署（Python篇）

2023.9.8更新

C++ SDK篇已经发布，点击这里传送到文章

---

MMDeploy 提供了一系列工具，帮助我们更轻松的将 OpenMMLab 下的算法部署到各种设备与平台上。

1.流程简介

MMDeploy 定义的模型部署流程，这里直接使用了官方文档的内容，如下图所示： 

1）模型转换（Model Converter）

模型转换的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式。

目前，MMDeploy 可以把 PyTorch 模型转换为 ONNX、TorchScript 等和设备无关的 IR 模型。也可以将 ONNX 模型转换为推理后端模型。两者相结合，可实现端到端的模型转换，也就是从训练端到生产端的一键式部署。

2）MMDeploy 模型（MMDeploy Model）

也称 SDK Model。它是模型转换结果的集合。不仅包括后端模型，还包括模型的元信息。这些信息将用于推理 SDK 中。

3）推理 SDK（Inference SDK）

封装了模型的前处理、网络推理和后处理过程。对外提供多语言的模型推理接口。

2.MMDeploy安装及环境配置

本篇文章安装环境

• i5-7400HQ+1050ti
• Win 11
• VS2022
• CUDA11.6及相应版本的cudnn（cudnn必须要）
• python 3.8
• pytorch 1.13.1
• 以及mmlab（mmcv 2.0及以上版本）基本的配置，请参考我的上一篇文章安装。

本篇文章使用mmpose1.x进行部署，起一个抛砖引玉的作用，只要是openMMLab系列的其实流程都大差不差。废话不多说了，下面正式开始：

1）mmdeploy安装

因为是在windows平台，官方建议的是使用预编译包，所以这里我们使用pip直接安装：

# 1. 安装 MMDeploy 模型转换工具（含trt/ort自定义算子）
pip install mmdeploy==1.0.0

# 2. 安装 MMDeploy SDK推理工具
# 根据是否需要GPU推理可任选其一进行下载安装
# 2.1 支持 onnxruntime 推理
pip install mmdeploy-runtime==1.0.0
# 2.2 支持 onnxruntime-gpu tensorrt 推理
pi