AdaIN层通过匹配内容特征的均值和方差与风格特征的统计量，实现实时任意风格的图像迁移。与批归一化和实例归一化相比，AdaIN无需学习仿射参数，而是自适应地从风格输入中计算。模型采用编码器-解码器结构，预训练的VGG-19作为编码器，通过AdaIN进行风格转换，解码器则将转换后的特征映射还原为图像。在训练过程中，利用VGG19的特征损失进行优化，确保内容保真和风格迁移的准确性。实验结果显示，AdaIN能够实现灵活的用户控制和高效的风格转换。
Adapative Instance Normalize
1. AdaIN简介
使用GAN进行图像风格迁移，网络通常与固定的风格集相关联，无法适应任意新的风格。AdaIN首次实现了任意风格的实时传输。其方法的核心是一个新的自适应实例归一化（AdaIN）层，它将内容特征的均值和方差与样式特征的均值与方差对齐。与现有最快方法相当的速度，不受预定义样式集的限制。此外，允许灵活的用户控制，如内容风格权衡、风格插值、颜色和空间控制，所有这些都使用单个前馈神经网络。
2. 相关工作与背景
2.1 批归一化 Batch Normalization
Batch Normalization层最初设计用于加速区分网络的训练，但也被发现在生成图像建模中有效。
给定Batch输入 x ∈ R N × C × H × W x \in \mathbb{R}^{N \times C \times H \times W} x∈RN×C×H×W, Batch Normalization标准化每个通道的均值和标准差。
- B N ( x ) = γ ( x − μ ( x ) σ ( x ) ) + β BN(x) = \gamma\left( \frac{x-\mu(x)}{\sigma(x)}\right)+\beta BN(x)=γ(σ(x)x−μ(x))+β
- γ \gamma γ、 β \beta β是从数据中学习到的仿射参数
- μ ( x ) , σ ( x ) \mu(x),\sigma(x) μ(x),σ(x)是针对每个特征通道独立计算的批次大小和空间尺寸的平均值和标准差
2.2 实例归一化 Instance Normalization
在原始方法中，风格迁移网络在每个卷积层之后都包含BN层。但是用Instance Normalization层代替BN层可以实现显著改善性能。
- I N ( x ) = γ ( x − μ ( x ) σ ( x ) ) + β IN(x) = \gamma\left( \frac{x-\mu(x)}{\sigma(x)}\right)+\beta IN(x)=γ(σ(x)x−μ(x))+β
- 不同于BN，这里的均值和标准差是对于每个通道和每个样本，跨空间维度独立重新计算得到的。
- μ n c ( x ) = 1 H W ∑ h = 1 H ∑ w = 1 W x n c h w \mu_{nc}(x)=\frac{1}{HW}\sum_{h=1}^{H}\sum_{w=1}^{W}x_{nchw} μnc(x)=HW1
最低0.47元/天 解锁文章
扫一扫
2051
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
