论文Controlling Perceptual Factors in Neural Style Transfer

该论文探讨了如何在神经风格迁移中控制空间、颜色和尺度三个因素。通过空间引导矩阵实现空间控制,利用亮度通道和颜色直方图匹配进行颜色控制,选择不同网络层进行尺度控制。提供了代码实现链接。

摘要:

本文提出了如下的假设:图像风格可以被分解为空间区域、颜色与光照信息和跨空间尺度这三个因素。

对于空间因素的控制,通过引入一个新的空间引导矩阵,来控制风格图像的哪一部分用来风格化内容图像对应的图像区域。

对于颜色因素的控制,可以只采用亮度通道进行迁移或者颜色直方图匹配方法来实现。

对于空间尺度因素的控制,通过选择神经网络中不同层对应的统计信息进行风格迁移来实现。

spatial control(没大看懂)

原理: 

      目标是控制风格图像的哪个区域用于风格化内容图像中的每个区域。例如,我们希望将一种风格应用于天空区域,另一种风格应用于地面。主要是加入R个引导通道(结果中的那些小图即为引导通道)。
      第一种方法是将包含在风格图像中的每个图层的特征图与R个引导通道Tr相乘,并且为风格图像中的每个R区域计算一个空间引导的gram矩阵。通常,我们定义空间引导特征图为
  
                                                           
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值