MMagic项目模型部署全流程指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00260/article/details/148464653

MMagic项目模型部署全流程指南

mmagic OpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic 🪄: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for text-to-image generation, image/video restoration/enhancement, etc. 项目地址: https://gitcode.com/gh_mirrors/mm/mmagic

前言

在计算机视觉领域，模型部署是将训练好的深度学习模型应用到实际生产环境的关键步骤。本文将详细介绍如何使用MMDeploy工具对MMagic项目中的模型进行高效部署，涵盖从环境安装到模型转换、推理的完整流程。

环境准备

安装MMagic

首先需要安装MMagic项目，建议使用conda或pip进行安装。安装过程需要注意与CUDA版本的兼容性，特别是当需要使用GPU加速时。

安装MMDeploy

MMDeploy是OpenMMLab生态系统中的模型部署工具，支持多种推理后端：

ONNX Runtime：跨平台推理引擎
TensorRT：NVIDIA GPU上的高性能推理
OpenVINO：Intel硬件优化推理
其他支持的后端包括ncnn、CoreML等

安装MMDeploy时，即使使用预编译包，也建议下载源代码，因为其中包含重要的部署配置文件。

模型转换实战

模型转换是将训练好的PyTorch模型转换为目标推理引擎格式的过程。以ESRGAN超分辨率模型为例：

转换步骤详解

准备输入配置：需要指定一个示例图像作为输入形状参考
选择部署配置：根据目标平台选择合适的配置文件
执行转换命令：使用torch2onnx API进行转换

from mmdeploy.apis import torch2onnx

# 基本参数设置
img = 'tests/data/image/face/000001.png'  # 示例输入图像
work_dir = 'mmdeploy_models/mmagic/onnx'  # 输出目录
save_file = 'end2end.onnx'  # 输出模型文件名
deploy_cfg = '../mmdeploy/configs/mmagic/super-resolution/super-resolution_onnxruntime_dynamic.py'  # 部署配置
model_cfg = 'configs/esrgan/esrgan_psnr-x4c64b23g32_1xb16-1000k_div2k.py'  # 模型配置
model_checkpoint = 'esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth'  # 模型权重
device = 'cpu'  # 转换设备

# 执行转换
torch2onnx(img, work_dir, save_file, deploy_cfg, model_cfg,
          model_checkpoint, device)

配置文件解析

部署配置文件的命名遵循特定规则，包含了任务类型、后端信息等重要参数：

super-resolution_onnxruntime_dynamic.py

其中关键部分：

super-resolution：指明是超分辨率任务
onnxruntime：指定使用ONNX Runtime后端
dynamic：表示支持动态输入形状

对于需要更高性能的场景，可以考虑使用TensorRT后端并启用FP16精度：

super-resolution_tensorrt-fp16_dynamic-32x32-512x512.py

转换结果解析

模型转换完成后，输出目录包含以下重要文件：

end2end.onnx：转换后的模型文件，可直接用于推理
deploy.json：部署配置信息
pipeline.json：预处理和后处理流水线配置
detail.json：模型详细信息

这些文件共同构成了"MMDeploy SDK model"，是后续推理的基础。

模型推理实践

使用后端直接推理

转换后的ONNX模型可以通过ONNX Runtime直接推理：

from mmdeploy.apis.utils import build_task_processor
from mmdeploy.utils import get_input_shape, load_config
import torch

# 初始化配置
deploy_cfg = '../mmdeploy/configs/mmagic/super-resolution/super-resolution_onnxruntime_dynamic.py'
model_cfg = 'configs/esrgan/esrgan_psnr-x4c64b23g32_1xb16-1000k_div2k.py'
device = 'cpu'
backend_model = ['mmdeploy_models/mmagic/onnx/end2end.onnx']
image = 'tests/data/image/lq/baboon_x4.png'

# 构建任务处理器
deploy_cfg, model_cfg = load_config(deploy_cfg, model_cfg)
task_processor = build_task_processor(model_cfg, deploy_cfg, device)
model = task_processor.build_backend_model(backend_model)

# 准备输入
input_shape = get_input_shape(deploy_cfg)
model_inputs, _ = task_processor.create_input(image, input_shape)

# 执行推理
with torch.no_grad():
    result = model.test_step(model_inputs)

# 结果可视化
task_processor.visualize(
    image=image,
    model=model,
    result=result[0],
    window_name='visualize',
    output_file='output_restorer.bmp')

使用SDK进行推理

MMDeploy提供了更高级的SDK接口，简化了推理流程：

from mmdeploy_python import Restorer
import cv2

# 初始化还原器
img = cv2.imread('tests/data/image/lq/baboon_x4.png')
restorer = Restorer(model_path='mmdeploy_models/mmagic/onnx', 
                   device_name='cpu', 
                   device_id=0)

# 执行推理
result = restorer(img)

# 保存结果
cv2.imwrite('output_restorer.bmp', result)