基于openCV、PyTroch视频图像实时风格迁移实现

前言

利用openCV和预训练的PyTorch风格迁移模型结合摄像头实现视频图像实时风格迁移。

 

效果展示

视频图像实时风格迁移效果.gif

没有做任何模型压缩，在我的Mac笔记本上可以跑到10FPS，基本是准实时的效果。

运行环境

openCV-4.0 以上

imutils

time

算法实现

核心算法是风格迁移，关于风格迁移的原理总结起来就是，生成一张新的图像，使其同时兼具内容图像的内容和风格图像的风格。通过提取预训练好的分类网络（VGG、ResNEt等）不同的层作为内容层和风格层，冻结网络参数调整生成的图像，在训练一定的轮次后得到结果。细节部分不在本文展开，本文重点放在生产部署上。后续抽空写文章详细补充一下原理部分。

实现过程：

首先，你要有一个USB连接的摄像头。

其次，下载预训练好的PyTorch模型。

之后，实时处理每一帧。

最后，逐帧或者跳帧保存。

 

代码部分：

# 用cv提供的dnn模块加载风格迁移模型

net = cv2.dnn.readNetFromTorch(weights)

# 设置网络的输入格式

blob = cv2.dnn.blobFromImage(current_image,1.0,(224,224),(103.939, 116.779, 123.680),swapRB=False, crop=False)

net.