吴恩达教授卷积神经网络的课程中,有一部分是关于风格迁移的内容。组合内容图片,风格图片生成新的图片
主体思路是:
- 随机生成一张图片(可以基于原内容图片生成,从而加速训练)
- 计算其与内容图片之间的内容损失 J c o n t e n t J_{content} Jcontent
- 计算其与风格图片之间的风格损失 J s t y l e J_{style} Jstyle
- 最小化损失函数 J = α J c o n t e n t + β J s t y l e J=αJ_{content}+βJ_{style} J=αJcontent+βJstyle(其中α,β为超参数)
对于内容损失函数,比较容易理解。
内容损失函数是比较容易理解的(比较生成的图片与内容图片在预训练好的网络中某一层的特征图的相似度
(计算两个特征图的L2距离))
风格损失函数
-
公式
a i j k [ l ] S a_{ijk}^{[l]S} aijk[l]S是风格图片在CNN第 l l l层第 ( i , j , k ) (i,j,k) (i,j,k)位置的输出,其中 ( i , j , k ) (i,j,k) (i,j,k)对应高,宽,通道
G k k ′ [ l ] S = ∑ i = 1 n H [ l ] ∑ j = 1 n W [ l ] a i j k [ l ] S a i j k ′ [ l ] S G_{kk'}^{[l]S}=\sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}}a_{ijk}^{[l]S}a_{ijk'}^{[l]S} Gkk′[l]S=∑i=1nH[l]∑