taifyang的博客

本文介绍了使用MMDeploy工具将Mask2Former模型导出为ONNX格式并进行推理的完整流程。首先通过torch2onnx函数将PyTorch模型转换为ONNX模型，然后自行编写了Python推理脚本。推理过程包括：图像预处理（保持长宽比的缩放、填充）、模型输入标准化、使用ONNXRuntime运行推理、后处理（掩码缩放、分数计算和排序）以及结果可视化（绘制分割掩码）。特别处理了自定义算子支持，展示了如何将ONNX模型在实际应用中进行部署和推理。该流程适用于需要快速部署分割模型的场景。

【代码】OpenMMlab导出MaskFormer/Mask2Former模型并用onnxruntime和tensorrt推理。

【代码】OpenMMlab导出Mask R-CNN模型并用onnxruntime和tensorrt推理。

通过mmdeploy的tool/deploy.py脚本容易转换得到PointPillars的end2end.onnx模型。

【代码】OpenMMlab导出DETR模型并用onnxruntime推理。

方法一：通过trtexec转换onnx文件，LZ的版本是TensorRT-8.2.1.8。则三个输出分别为boxes、scores、class_ids。方法二：通过mmdeploy导出engine文件。

【代码】OpenMMlab导出FCN模型并用onnxruntime推理。

这里通过trtexec转换onnx文件，LZ的版本是TensorRT-8.2.1.8。输出是包含多个检测头的输出。安装mmdeploy的话，可以通过下面脚本导出onnx模型。

输出是包含三个不同层级检测头的输出。安装mmdeploy的话，可以通过下面脚本导出onnx模型。

【代码】OpenMMlab导出mobilenet-v2的onnx模型并推理。

通过mmpretrain 导出swin-transformer的onnx文件非常容易，注意需设置 opset_version=12这里是一个坑，刚开始设置的opset_version=11后续转换trtengine的时候会有问题。第三个坑是如果不加上–workspace参数可能会因内存不足报错，LZ的机器有32G内存索性就设了20G的工作空间，可以根据自己的内存大小酌情设置该参数。mmdeploy导出LZ没有尝试成功，不知道是环境配置问题还是在windows系统下库的bug。python推理：（待补充）