风格迁移是CV的一个应用,通过融合风格图片和内容图片,实现图片的风格变换,“人人都是艺术家”
最早在论文《A Neural Algorithm of Artistic Style》中提出,但是这种方法是用“训练”的思想来做风格迁移,每次都要单独训练,速度很慢
快速风格迁移由《Perceptual Losses for Real-Time Style Transfer Super-Resolution》提出,主要是将风格迁移的训练和应用分离,可以快速应用
如https://github.com/hzy46/fast-neural-style-tensorflow 分享了几个案例
以及论文里给的例子

下面说具体原理
1. 图片的风格迁移问题,是给定原始图片和风格图片,得到转换了风格的图片的过程
2. 则原始图片表示了内容Content(C);风格图表示了风格Style(S);转换了风格的图片表示生成的图片
3. 那么生成目标图片的损失函数就是内容损失和风格损失的加权和
J(G)=αJcontent(C,G)+βJstyle(S,G) J ( G ) = α J c o n t e n t ( C , G ) + β J s t y l e ( S , G )
4. 注意到现有的CV模型如VGG16,各个卷积层本质上已经是对图片进行了
特征提取,且高阶的层包含了
内容信息,低阶的层包含了
纹理的信息,各个特种层之间的相关关系表达了
风格信息
5. 内容信息用两个图在某一层的取值差来表示
lϕ,jfeat(ŷ ,y)=1CjHjWj‖ϕj(ŷ )−

本文深入探讨了风格迁移技术,从其起源到快速风格迁移的方法,详细解析了如何使用VGG16模型的不同层来提取图片的内容和风格特征,并介绍了生成网络和损失网络的工作原理。
最低0.47元/天 解锁文章
4538





