提出一种基于卷积神经网络特征空间的自然纹理模型，利用VGG-19网络生成高质量纹理样本，模型随特征深度增强，参数大幅压缩后仍保持良好性能。
2015-Texture Synthesis Using Convolutional Neural Networks
基本信息
作者： Leon A. Gatys，Alexander S. Ecker，Matthias Bethge
期刊： NIPS
引用： *
摘要： 本文介绍了一个基于卷积神经网络特征空间的自然纹理的新模型，该模型为目标识别而优化。该模型的样本具有很高的感知质量，显示了以纯粹的辨别方式训练的神经网络的生成能力。在该模型中，纹理是由网络中若干层的特征图之间的相关性来表示的。我们表明，跨层的纹理表示越来越多地捕捉到自然图像的统计特性，同时使物体信息越来越明确。该模型提供了一个新的工具来产生神经科学的刺激，并可能提供对卷积神经网络学习的深层表征的见解。
1.简介
视觉纹理合成的目标是从一个实例纹理中推断出一个生成过程，然后可以产生任意多的该纹理的新样本。对合成纹理质量的评价标准通常是人的检查，如果人的观察者不能从合成的纹理中分辨出原始纹理，那么纹理的合成就成功了。
寻找纹理生成过程的两种方法：
- 通过对原始纹理的像素或整个斑块进行重采样来生成新的纹理。它们并没有为自然纹理定义一个实际的模型，而是给出了一个机械化的程序，说明如何在不改变其感知特性的情况下随机化一个源纹理。
- 明确地定义一个参数化的纹理模型。该模型通常由一组在图像的空间范围内进行的统计测量组成。
目前最好的模型：Portilla和Simoncelli提出的模型，基于一组精心手工制作的摘要统计，这些统计是在一个叫做Steerable Pyramid的线性滤波器组的响应上计算的。然而，尽管他们的模型在合成广泛的纹理方面显示出非常好的性能，但它仍然未能捕捉到自然纹理的全部范围。
本文提出了一个新的参数化纹理模型来解决这个问题。使用卷积神经网络作为我们纹理模型的基础。将关于特征反应的空间汇总统计的概念框架与经过物体识别训练的卷积神经网络的强大特征空间相结合。通过这种方式得到一个纹理模型，它的参数是建立在卷积神经网络的分层处理结构上的空间不变的表征。
2.卷积神经网络
提取特征使用VGG-19网络。使用16个卷积层和5个池化层，不使用全连接层，整个网络基于以下两种运算：
- 用大小为3x3xk的滤波器进行线性整流卷积，其中k为输入特征图的数量。卷积的stride和padding等于1，这样输出的特征图与输入的特征图具有相同的空间尺寸。
- 在不重叠的2x2个区域中进行最大池化，将特征图的采样率降低2倍。
将最大池化改为平均池化；重新调整网络权重。
3 and 4.纹理模型&纹理生成
主要的网络步骤如上图。
- 第l层网络的第i层与第j层的内积：
Gijl=∑kFiklFjklG_{i j}^l=\sum_k F_{i k}^l F_{j k}^lGijl=∑kFiklFjkl - 第l层网络的损失
El=14Nl2Ml2∑i,j(Gijl−G^ijl)2E_l=\frac{1}{4 N_l^2 M_l^2} \sum_{i, j}\left(G_{i j}^l-\hat{G}_{i j}^l\right)^2El=4
最低0.47元/天 解锁文章
扫一扫
575
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
