(高能预警!)为什么Gram矩阵可以代表图像风格？带你揭开图像风格迁移的神秘面纱!

(高能预警)为什么Gram矩阵可以代表图像风格

简介

在本文中我将以如下方式进行阐述。
我们先了解了图像风格迁移的概念和问题，知道了Gram矩阵是什么。从特征值分解进行类比得到核函数的概念。简介希尔伯特空间，引入再生核函数得到再生核希尔伯特空间。最后介绍统计学方法最大平均差异(MMD)。知道上述数学知识后，我们再回顾图像风格迁移中的计算风格的代价函数。然后从原来的代价函数出发，利用我们的数学知识进行推导，最后得出我们原来计算的图像风格的代价值其实就是两个图片特征的最大平均差异(MMD)。

风格迁移概述

现在图像风格迁移有了很多方法，人们用各种方式来自加快图像迁移的速度，改善图像风格迁移的效果。尽管这些方法比原始的神经样式转换有了进一步的改进，但它们都忽略了图像风格转换中的基本问题：为什么Gram矩阵可以代表图像的风格样式？ 这种模糊的理解限制了对图像风格转移的进一步研究。

领域适应

领域适应属于迁移学习领域。 它旨在将在源域上学习的模型转移到未标记的目标域。 域适应的关键部分是测量和最小化源和目标分布之间的差异。 最常见的差异度量是最大均值差异（MMD），该度量值测量了可再生核希尔伯特空间中样本均值的差异。 在领域适应性工作中，它是一个流行的选择。通过对源域中的数据进行白化然后重新关联到目标域来对齐二阶统计量。 通过简单地调制所有批归一化（BN）层中的统计信息，提出了一种无参数的深度自适应方法。

相关知识

Gram矩阵

$$A{A}^T就是A的Gram矩阵$$Gram矩阵实际上可看做是不同特征之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），在每一个特征层中，每一个数字都来自于一个特定卷积核在特定位置的卷积，因此每个数字就代表一个特征的强度，而Gram矩阵的计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram矩阵的对角线元素，还体现了每个特征在图像中出现的量，因此，Gram矩阵有助于把握整个图像的大体风格。有了表示风格的Gram矩阵，要度量两个图像风格的差异，只需比较他们Gram矩阵的差异即可。

特征值分解

对于一个实对称矩阵$A$，存在一个实数$\lambda$和向量$x$使得$$Ax=\lambda x$$这样，$\lambda$就是$A$的特征值，$x$就是对应的特征向量，如果$A$有两个不同的特征值${\lambda }_1$和${\lambda }_2$$（{\lambda }_1\ne {\lambda }_2）$，分别对应特征向量$x_1$和$x_2$。经过变换可以得到$${\lambda }_1{x}_1^T{x}_2=({\lambda }_1{x}_1{)}^T{x}_2=x_1^T{A}^T{x}_2=x_1^{T}A{x}_2={\lambda }_2{x}_1^T{x}_2$$因为${\lambda }_1\ne {\lambda }_2$，所以有$x_1^T{x}_2=0$,因此得到实对称矩阵不同特征值对应的特征向量相互正交。
对于实对称矩阵$A\in {\mathcal{R}}^{n\times n}$，我们可以找到$n$个特征值和$n$个特征向量，把$A$分解成如下形式
$$A=QD{Q}^T$$其中Q是一个正交矩阵矩阵$(Q{Q}^T=I)$，$D=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，把$A$进行特征值分解后展开可以得到$$\begin{array}{rl}A=QD{Q}^T& =\left(\begin{array}{c}{q}_1,q_2,\cdots ,q_n\end{array}\right)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\left(\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_n^T\end{array}\right)\\ & =\left(\begin{array}{c}{\lambda }_1{q}_1,{\lambda }_2{q}_2,\cdots ,{\lambda }_n{q}_n\end{array}\right)\left(\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_n^T\end{array}\right)\\ & =\sum _{i=1}^n{\lambda }_i{q}^i{q}_i^T\end{array}$$其中 { q i } i = 1 n \{q_i\}_{i=1}^n {qi​}i=1n​是${\mathcal{R}}^n$的一组正交基。

核函数

一个函数$f(x)$可以看成是一个无限维向量，具有两个自变量的函数$K(x,y)$，可以看成是一个无限维矩阵。如果$$K(x,y)=K(y,x)并且\iint f(x)K(x,y)f(y)\ge 0$$对于任意的函数$f$都成立，那么$K(x,y)$就是对称并且半正定的，具有这样性质的$K(x,y)$就是一个正定核函数。
正定核函数还有一个等价的定义：如果$K(x,y)$可以表示成以下形式$$K(x,y)=<\varphi (x),\varphi (y)>$$其中$\varphi$是希尔伯特空间空间的一个映射（可以做到从低维映射到高维，让本来不是线性可分的变成线性可分，比如异或操作），$<\varphi (x),\varphi (y)>$代表两者的内积，那么称$K(x,y)$是一个正定核函数。
类似与矩阵的特征值和特征函数，存在特征值$\lambda$和本征函数$\psi (x)$使得$$\int K(x,y)\psi (x)dx=\lambda \psi (y)$$对于不同的特征值${\lambda }_1$和${\lambda }_2$以及对于的本征函数${\psi }_1(x)$和${\psi }_2(x)$我们可以通过变换得到$$\begin{array}{rl}\int {\lambda }_1{\psi }_1(x){\psi }_2(x)dx& =\int \int K(y,x){\psi }_1(y)dy{\psi }_2(x)dx\\ & =\int \int K(x,y){\psi }_2(x)dx{\psi }_1(y)dy\\ & =\int {\lambda }_2{\psi }_2(y){\psi }_1(y)dy\\ & =\int {\lambda }_2{\psi }_2(x){\psi }_1(x)dx\end{array}$$所以我们可以得到$$<{\psi }_1,{\psi }_2>=\int {\psi }_1(x){\psi }_2(x)dx=0$$不同的本征函数之间相互正交。
对于一个核函数，有着无穷个特征值 { λ i } i = 1 ∞ \{\lambda_i\}_{i=1}^{\infty} {λi​}i=1∞​和对应的本征函数 { ψ i } i = 1 ∞ \{\psi_i\}_{i=1}^{\infty} {ψi​}i=1∞​类似于矩阵的特征值分解，$K(x,y)$可以表示成本征函数的组合$$K(x,y)=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i(y)$$因为我们知道$<{\psi }_i,{\psi }_j>=\int {\psi }_i(x){\psi }_j(x)dx=0(i\ne j)$，所以 { ψ i } i = 1 ∞ \{\psi_i\}_{i=1}^{\infty} {ψi​}i=1∞​是函数空间的正交基。
常用的核函数如下：

• 多项式核函数$K(x,y)=(\gamma x^{T}y+C{)}^d$
• 高斯径向基核$K(x,y)=exp(-\gamma ||x-y|{|}^2)$
• Sigmoid核$K(x,y)=tanh(\gamma x^{T}y+C)$
  例子：证明$k(x,y)=exp(-\gamma ||x-y|{|}^2)$是一个核函数 $$\begin{array}{rl}exp(-\gamma ||x-y|{|}^2)& =exp(-\gamma x^2)exp(2\gamma xy)exp(-\gamma y^2)\\ & =exp(-\gamma x^2)\sum _{n=0}^{\infty }(\frac{2{\gamma }^n{x}^n{y}^n}{n!})exp(-\gamma y^2)(利用泰勒展开)\\ & =exp(-\gamma x^2)\psi (x)\psi (y)exp(-\gamma y^2)\\ & =\varphi (x)\varphi (y)\end{array}$$$$\varphi (x)=exp(-\gamma x^2)\cdot (1,\sqrt{\frac{2\gamma }{1!}}x,\sqrt{\frac{2{\gamma }^2}{2!}},\cdots )$$
  例子：证明$K(x,y)=(\gamma x^{T}y+C{)}^d$ 是一个核函数$$\begin{array}{rl}(\gamma x^{T}y+C{)}^d& =\sum _{n=0}^d{C}_d^n{\gamma }^n{x}^n{y}^n{C}^{d-n}(利用二项式定理)\\ & =\varphi (x)\varphi (y)\end{array}$$$$\varphi (x)=\sum _{n=0}^d\sqrt{C_d^n{C}^{d-n}{\gamma }^n}{x}^n$$

希尔伯特空间

在数学里，希尔伯特空间（英语：Hilbert space）即完备的内积空间，也就是说一个带有内积的完备向量空间。希尔伯特空间是有限维欧几里得空间的一个推广，使之不局限于实数的情形和有限的维数，但又不失完备性（而不像一般的非欧几里得空间那样破坏了完备性）。与欧几里得空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引申而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西序列会收敛到此空间里的一点，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。
完备性： 对极限是封闭的，如果有一个序列 { k n } ∈ H , lim ⁡ n → ∞ k n = k ∈ H \{k_n\}\in \mathcal{H},\lim_{n\to \infty}k_n=k\in \mathcal{H} {kn​}∈H,limn→∞​kn​=k∈H这样就是封闭的。
举个例子比如$$1.4，1.41，1.414，1.4142，1.41421\dots \dots 最终收敛于\sqrt{2}$$所以有理数空间对于极限运算是不封闭的。
无限维： 就是有无限个维度。
内积空间：

1. 对称性：$<f,g>=<g,f>$
2. 正定性：$<f,f>\ge 0,<f,f>=0\iff f=0$
3. 对第一变元的线性性：$<a{f}_1+b{f}_2,g>=a<f_1,g>+b<f_2,g>$

线性空间： 希尔伯特空间满足线性空间的所有性质。加法的交换律，结合律，零元，负元，数乘的交换律，单位一，数乘与加法的结合律。

可再生核希尔伯特空间

{ λ i ψ i } i = 1 ∞ \{\sqrt{\lambda_i} \psi_i\}_{i=1}^{\infty} {λi​ ​ψi​}i=1∞​是希尔伯特空间$\mathcal{H}$的正交基的集合。那么，希尔伯特空间的所有函数或是向量都可以表示成这些基的线性组合。$$f=\sum _{i=1}^{\infty }{f}_i\sqrt{{\lambda }_i}{\psi }_i$$我们可以把$f$表示成希尔伯特空间$\mathcal{H}$的一个无限维向量$$f=(f_1,f_2,\cdots {)}_{\mathcal{H}}^T$$对于另一个函数$g=(g_1,g_2,\cdots {)}_{\mathcal{H}}^T$，我们有$$<f,g{>}_{\mathcal{H}}=\sum _{i=1}^{\infty }{f}_i{g}_i$$对于核函数$K$，$K(x,y)$代表$K$在$x,y$处的值，$K(\cdot ,\cdot )$表示核函数本身（无限维矩阵），我们使用$K(x,\cdot )$来表示$x$行的一元函数或无限维向量，也就是把核函数的一个参数固定为$x$。由此我们可以得到$$K(x,\cdot )=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i$$在希尔伯特空间$\mathcal{H}$中我们可以这样表示$$K(x,\cdot )=(\sqrt{{\lambda }_1}{\psi }_1(x),\sqrt{{\lambda }_2}{\psi }_2(x),\cdots {)}_{\mathcal{H}}^T$$因此$$<K(x,\cdot ),K(y,\cdot ){>}_{\mathcal{H}}=\sum _{i=1}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i(y)=K(x,y)$$这就是核的可再生性，因此$\mathcal{H}$是可再生核希尔伯特空间。
现在我们的问题是如何把一个点映射到我们想要的特征空间，我们定义如下映射$$\Phi (x)=K(x,\cdot )=(\sqrt{{\lambda }_1}\psi (x),\sqrt{{\lambda }_2}{\psi }_2(x),\cdots {)}^T$$然后我们把点$x$映射到$\mathcal{H}$。这里$\Phi$不是函数，因为它指向特征空间中的向量或函数，它是一个映射。$$<\Phi (x),\Phi (y){>}_{\mathcal{H}}=<K(x,\cdot ),K(y,\cdot ){>}_{\mathcal{H}}=K(x,y)$$因此，我们实际上不需要知道映射是什么样的，特征空间是什么或什么是特征空间的基。对于对称的正定函数$K$一定会存在至少一个映射$\Phi$和一个特征空间$\mathcal{H}$满足$$<\Phi (x),\Phi (y)>=K(x,y)$$这就是核技巧。

最大平均差异(MMD)

基本假设： 对于所有以分布生成的样本空间为输入的函数$\varphi$，如果两个分布生成的足够多的样本在$\varphi$上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。
假设有两个样本集合 X = { x i } i = 1 n X=\{x_i\}_{i=1}^n X={xi​}i=1n​和 Y = { y i } i = 1 m Y=\{y_i\}_{i=1}^m Y={yi​}i=1m​其中$x_i$和$y_j$分别来自不同的分布$p$和$q$。最大平均差异(MMD)是常用两个样本检测的检验统计量，我们的零假设是$p=q$。因为总体MMD消失当且仅当$p=q$，所以使用MMD来衡量两个分布之间的差异。这个通过将MMD和一个给定的阈值相比较得到，如果MMD大于阈值，那么就拒绝原假设，也就是两个分布不同。如果MMD小于某个阈值，就接受原假设。我们得到MMD的平方如下($\varphi (x)是x在可再生核希尔伯特空间的映射$)$$\begin{array}{rl}MD{D}^2[X,Y]& =||E_x[\varphi (x_i)]-E_y[\varphi (x_i)]|{|}^2\\ & =||\frac{1}{n}\sum _{i=1}^n\varphi (x_i)-\frac{1}{m}\sum _{j=1}^m\varphi (y_i)|{|}^2\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{i^{\prime }=1}^n\varphi (x_i{)}^T\varphi (x_{i^{\prime }})+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^m\varphi (y_j{)}^T\varphi (y_{j^{\prime }})-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^m\varphi (x_i{)}^T\varphi (y_{j^{\prime }})\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{i^{\prime }=1}^{n}k(x_i,x_{i^{\prime }})+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^{m}k(y_j,y_{j^{\prime }})-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^{m}k(x_i,y_i)\end{array}$$

图像风格计算方法回顾

代价函数分为以下两个部分
$$J_{content}(C,G)$$第一部分被称作内容代价，这是一个关于内容图片和生成图片的函数，它是用来度量生成图片$G$的内容与内容图片$C$的内容有多相似。
$$J_{style}(S,G)$$第二部分被称作风格代价，这是一个关于风格图片和生成图片的函数，它是用来度量生成图片$G$的内容与风格图片$S$的内容有多相似。
$$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$$
$S$图片的内容函数如下，我们令这个$a^{[l][C]}$和$a^{[l][G]}$(其中$a^{[l][C]}$代表$C$图片的第$l$层)，代表这两个图片的指定层的激活函数值。如果这两个激活值大小接近，那么就意味着两个图片的内容相似。
$$J_{content}(C,G)=\frac{1}{2}||a^{[l][C]}-a^{[l][G]}|{|}^2$$
$S$图片的每个位置的风格函数如下，其中$G^{[l][S]}$是一个$n_C^{[l]}\times n_C^{[l]}$的矩阵，$a_{ijk}^{[l][S]}$表示$i$行$k$列$k$信道的数值。简单来说就是不同的信道之间的对应位置两两相乘。
$$G_{k{k}^{\prime }}^{[l][S]}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{ijk}^{[l][S]}{a}_{ij{k}^{\prime }}^{[l][S]}$$$G$图片的每个位置的风格函数对应如下：
$$G_{k{k}^{\prime }}^{[l][G]}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{ijk}^{[l][G]}{a}_{ij{k}^{\prime }}^{[l][G]}$$我们算出来的风格矩阵如下：
$$J_{style}^{[l]}(S,G)=\frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_C^{[l]}{)}^2}\sum _k^{n_C^{[l]}}\sum _{k^{\prime }}^{n_C^{[l]}}(G_{k{k}^{\prime }}^{[l][S]}-G_{k{k}^{\prime }}^{[l][G]}{)}^2$$

开始证明

为了叙述简单，我们把矩阵平铺成一维的，令$n_M^{[l]}=n_H^{[l]}\times n_W^{[l]}$。
得到$$\begin{array}{rl}{J}_{style}^{[l]}(S,G)& =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _k^{n_C^{[l]}}\sum _{k^{\prime }}^{n_C^{[l]}}(\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}-\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][G]}{a}_{i{k}^{\prime }}^{[l][G]}{)}^2\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _k^{n_C^{[l]}}\sum _{k^{\prime }}^{n_C^{[l]}}\left((\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}{)}^2+(\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][G]}{a}_{i{k}^{\prime }}^{[l][G]}{)}^2{)}^2-2(\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]})(\sum _{i=1}^{n_M^{[l]}}{a}_{ik}^{[l][G]}{a}_{i{k}^{\prime }}^{[l][G]}{)}^2)\right)\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _k^{n_C^{[l]}}\sum _{k^{\prime }}^{n_C^{[l]}}\sum _{i=1}^{n_M^{[l]}}\sum _{j=1}^{n_M^{[l]}}(a_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}{a}_{jk}^{[l][S]}{a}_{j{k}^{\prime }}^{[l][S]}+a_{ik}^{[l][G]}{a}_{i{k}^{\prime }}^{[l][G]}{a}_{jk}^{[l][G]}{a}_{j{k}^{\prime }}^{[l][G]}-2(a_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}{a}_{jk}^{[l][G]}{a}_{j{k}^{\prime }}^{[l][G]})\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _{i=1}^{n_M^{[l]}}\sum _{j=1}^{n_M^{[l]}}\sum _k^{n_C^{[l]}}\sum _{k^{\prime }}^{n_C^{[l]}}(a_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}{a}_{jk}^{[l][S]}{a}_{j{k}^{\prime }}^{[l][S]}+a_{ik}^{[l][G]}{a}_{i{k}^{\prime }}^{[l][G]}{a}_{jk}^{[l][G]}{a}_{j{k}^{\prime }}^{[l][G]}-2(a_{ik}^{[l][S]}{a}_{i{k}^{\prime }}^{[l][S]}{a}_{jk}^{[l][G]}{a}_{j{k}^{\prime }}^{[l][G]})\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _{i=1}^{n_M^{[l]}}\sum _{j=1}^{n_M^{[l]}}\left((\sum _{k=1}^{n_C^{[l]}}{a}_{ik}^{[l][S]}{a}_{jk}^{[l][S]}{)}^2+(\sum _{k=1}^{n_C^{[l]}}{a}_{ik}^{[l][G]}{a}_{jk}^{[l][G]}{)}^2-2(\sum _{i=1}^{n_C^{[l]}}{a}_{ik}^{[l][S]}{a}_{jk}^{[l][G]}{)}^2\right)\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _{i=1}^{n_M^{[l]}}\sum _{j=1}^{n_M^{[l]}}\left((s_i^T{s}_j{)}^2+(g_i^T{g}_j{)}^2-2(s_i^T{g}_j{)}^2\right)(使用k(x,y)=(x^{T}y{)}^2的核函数)\\ & =\frac{1}{(2n_C^{[l]}{n}_M^{[l]}{)}^2}\sum _{i=1}^{n_M^{[l]}}\sum _{j=1}^{n_M^{[l]}}\left(k(s_i,s_j)+k(g_i,g_j)-2k(s_i,g_j)\right)\\ & =\frac{1}{4({n_C^{[l]})}^2}MM{D}^2[S^{[l]},G^{[l]}]\end{array}$$其中$S^{[l]}$和$G^{[l]}$分别代表两张图片的特征集。这样，将得到某个卷积层不同信道的结果都视为一个单独的样本，因此计算风格损失函数的时候会忽略特征的位置，这是图像风格迁移所需要的。所以我们知道了我们算出的两个图像Gram矩阵的差异，并不断减小这个差异的过程。其实是在减小$MM{D}^2$，让两个图像的分布更接近于同一个分布。所以图像的风格其实就是图像的特征分布，而图像风格迁移就是在减小分布的差异。

结论

1. 图像的风格可以由CNN不同层中的特征分布本质上表示。
2. 图像风格迁移可以看作是从内容图像到样式图像的分布对齐(distribution alignment )过程。

参考资料

http://songcy.net/posts/story-of-basis-and-kernel-part-2/
https://arxiv.org/pdf/1701.01036.pdf
http://www.umiacs.umd.edu/~hal/docs/daume04rkhs.pdf
http://open.163.com/newview/movie/free?pid=M8PTB0GHI&mid=M8PTBUHT0