pytorch部署torchscript篇

最新推荐文章于 2024-10-11 00:24:52 发布

原创

最新推荐文章于 2024-10-11 00:24:52 发布 · 2.5k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #c++ #cpp #visual studio #opencv

本文介绍了在Windows上使用Visual Studio、OpenCV和libtorch进行PyTorch模型（以ResNet34为例）的C++部署，包括环境配置、.pt文件生成、VS项目创建与配置、常见错误处理。通过配置编译环境、设置项目属性，最终实现模型推理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

本文旨在介绍如何在Windows平台使用pytorch的c++ api部署pytorch的CNN模型，本文的部署的模型只有推理功能，这是由于torch::jit不支持部分层或者操作的反向传播。当然即使只是推理也足够许多项目运行了，部署使用的工具有visual studio，opencv，libtorch。

环境

本文环境如下：
win10平台
cuda10.2+cudnn7.6.5
双显卡Gtx 1080Ti
visual studio 2017 community version
opencv 4.5.0
libtorch 1.7
事实上，除了libtorch是版本有强制要求不低于pytorch版本外（主要是可能存在的api问题，否则也不必）和visual studio的版本要求外，其他如opencv并无版本要求，甚至如果只部署cpu的话，显卡都不是必须。

visual studio

visual studio版本最好在2015及以上，本文用2017版本。下载链接在链接1，具体安装过程可以参考链接2。打开链接1下载社区版本即可，安装时对于c++程序设计只需安装对应部分，勾选如下：
vs安装

visual studio的安装并无太多需要赘述，按照教程操作就好。

opencv

截止成文时，opencv版本已到4.5.0。去官网下载你想要的版本即可，当然限定平台为Windows平台。opencv的版本如若读者没有特别需要均无影响，本文也试过不同版本，不影响部署。opencv安装也容易，虽然是exe文件，但是实际就是个压缩包，解压到你想要的目录最好。值得注意的是，好的编程习惯很重要，所有程序涉及路径以英文路径为佳，避免出错。

libtorch

libtorch使用所需要的环境和训练最好保持一致，其中cuda，显卡驱动以及libtorch版本配置一般不应低于训练环境。尤其是libtorch版本要求更为严格，否则部分pytorch的api无法在libtorch中使用。

本文中以libtorch1.7为例介绍，读者最新版1.7.1使用，亲测可用。下载时以release版本为佳，避免一些不必要的错误。
在这里插入图片描述

下载后同样解压到读者想要路径，可以更改好解压名称如下以方便版本管理。
dependency

这样下来就已经准备好部署所需要的依赖项。

例子

生成.pt文件

接下来以ResNet34分类模型为例尝试部署分类模型。准备一张图片用以判断是否部署成功，本文用例图如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b87tPBB6-1617028970894)(https://raw.githubusercontent.com/AllentDan/ImageBase/main/libtorch_deploy/flower.jpg)]
接下来先和官网类似生成torchscript模型，亦即本文中的pt文件。本文使用代码如下：

from torchvision.models import resnet34
import torch.nn.functional as F
import torch.nn as nn
import torch
import cv2

#读取一张图片，并转换成[1,3,224,224]的float张量并归一化
image = cv2.imread("flower.jpg")
image = cv2.resize(image,(224,224))
input_tensor = torch.tensor