什么是Mk-MMD(Multi-kernal Maximum Mean Discrepency， 多核最大均值差异)？

Mk-MMD在深度学习中经常用于对不同分布的数据的隐层特征进行分布差异度量，那么Mk-MMD究竟是什么呢？我们首先从MD开始解释。

MD（mean discrepency，均值差异）

判断两个分布p和q是否相同，p分布对应的样本空间为P，q分布对应的样本空间为Q。在深度学习中，P、Q通常对应来自不同分布的训练样本，而p、q则可以视为决定这些样本分布的隐层特征。

假设我们有函数f：可以将多维特征映射为一个实数。此时，若：
$$\mathrm{mean}(f(P))==\mathrm{mean}(f(Q))$$
则我们认为，隐层特征p和q是同一分布。

那么，当P样本空间包含样本P1, P2, …, Pn；Q样本空间包含样本Q1, Q2, …,Qm时，若：
$$(f(P1)+...+f(Pn))/n==(f(Q1)+...+f(Qm))/m$$
则认为p、q为同一分布。

此时，我们可以定义两个分布之间的均值差异为：
$$\mathrm{mean}\mathrm{discrepency}=\left|\mathrm{mean}(\mathrm{f}(\mathrm{P}))-\mathrm{mean}(\mathrm{f}(\mathrm{Q}))\right|$$

MMD（Maximum Mean Discrepency，最大均值差异）

我们已经知道了什么是MD度量，那么什么是MMD呢？

在MD度量中，我们只使用了一个f函数对样本进行映射，计算均值距离。实际上，两个样本空间通过同一个函数映射出的均值相同，并不能说明两个样本空间的分布就相同。我们举如下例子：

假设有两条生产线p和q生产玻璃：产线p产出P1,P2,…,Pn个玻璃，另一条产线q产出Q1,Q2,…,Qm个玻璃。我们选择玻璃厚度作为映射函数f。

当$\left|\mathrm{mean}(\mathrm{f}(\mathrm{P}))-\mathrm{mean}(\mathrm{f}(\mathrm{Q}))\right|==0$时，我们能否认为这两条生产线的生产能力就相同呢？显然是不行的，还需要考虑透光率、平整度等因素。

因此我们可以选取多个函数${\mathrm{f}}_1$，${\mathrm{f}}_2$，…等，构成一个函数空间$\mathcal{F}$，则MMD可表示为：
M M D ( F , p , q ) = max ⁡ { ∣ m e a n ( f 1 ( P ) ) − m e a n ( f 1 ( Q ) ) ∣ , ∣ m e a n ( f 2 ( P ) ) − m e a n ( f 2 ( Q ) ) ∣ , . . . } {\rm{MMD(}}{\cal F}{\rm{,p,q}}) = \max \{ \left| {mean({\rm{f}_1}(P)) - mean({\rm{f}_1}(Q))} \right|,\left| {mean({\rm{f}_2}(P)) - mean({\rm{f}_2}(Q))} \right|,...\} MMD(F,p,q)=max{∣mean(f1​(P))−mean(f1​(Q))∣,∣mean(f2​(P))−mean(f2​(Q))∣,...}
上式可以写成更简洁的形式：
$$\begin{array}{c}\mathrm{MMD}(\mathcal{F},\mathrm{p},\mathrm{q}):=\underset{\mathrm{f}\in \mathcal{F}}{\sup }(\left|\frac{1}{n}\sum _{i=1}^n\mathrm{f}({\mathrm{P}}_i)-\frac{1}{m}\sum _{i=1}^m\mathrm{f}({\mathrm{Q}}_i)\right|)\\ \\ :=\underset{\mathrm{f}\in \mathcal{F}}{\sup }(\left|E_{\mathrm{P}\sim \mathrm{p}}\mathrm{f}(P)-E_{\mathrm{Q}\sim \mathrm{q}}\mathrm{f}(Q)\right|)\end{array}$$
以上便是MMD的定义。

Mk-MMD(Multi-kernel Maximum Mean Discrepency，多核最大均值差异)

上节我们说到，应该用多个函数对分布映射的均值差异进行度量，那么选取的函数集应该具有什么样的特点？怎样选取合适的函数集呢？

特点一：函数集内的函数应该足够丰富，此时才能从多种维度度量两个分布的MD。
特点二：这个函数集应该能够随着数据集的增大，使MMD度量逐渐收敛。

可以证明：当函数集$\mathcal{F}$是再生希尔伯特（RHKS）空间上的单位球（unit ball）时，此函数集可以满足以上特点（PS:留待以后证明）。

将原样本Pi,Qi映射至希尔伯特空间后，该空间有丰富的度量足以分出两个分布，且函数的映射结果有界
设X为样本空间（也可以是样本的隐层特征空间），H为希尔伯特特征空间，如果存在函数 $\phi (x):X\to H$，那么 $\phi (x)$就是我们要找的映射函数。

实际上，我们无法直接给出$\phi (x)$的解析定义式，但我们能通过定义$k(x,y)=\phi (x)\cdot \phi (y)$找到符合该条件的函数$k$，如高斯核函数（又称Radial Basis Function, RBF，径向基函数）。我们称满足以上条件的函数$k$为核函数，从而避免去显示地计算$\phi (x)$。

那么，我们应该如何计算$\mathrm{MMD}(\mathrm{P},\mathrm{Q})=\left|\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}\phi ({\mathrm{P}}_{\mathrm{i}})-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}\phi ({\mathrm{Q}}_{\mathrm{i}})\right|$呢？我们可以将MMD进行平方：
$$\begin{array}{c}\mathrm{MM}{\mathrm{D}}^2(\mathrm{P},\mathrm{Q})=\frac{1}{{\mathrm{n}}^2}\sum _{\mathrm{i}}^{\mathrm{n}}\sum _{{\mathrm{i}}^{\prime }}^{\mathrm{n}}\phi ({\mathrm{P}}_{\mathrm{i}})\phi ({\mathrm{P}}_{{\mathrm{i}}^{\prime }})-\frac{2}{\mathrm{nm}}\sum _{\mathrm{i}}^{\mathrm{n}}\sum _{\mathrm{j}}^{\mathrm{m}}\phi ({\mathrm{P}}_{\mathrm{i}})\phi ({\mathrm{Q}}_{\mathrm{j}})+\frac{1}{{\mathrm{m}}^2}\sum _{\mathrm{j}}^{\mathrm{m}}\sum _{{\mathrm{j}}^{\prime }}^{\mathrm{m}}\phi ({\mathrm{Q}}_{\mathrm{j}})\phi ({\mathrm{Q}}_{{\mathrm{j}}^{\prime }})\\ =\frac{1}{n^2}\sum _i^n\sum _{i^{\prime }}^{n}k({\mathrm{P}}_i,{\mathrm{P}}_{i^{\prime }})-\frac{2}{nm}\sum _i^n\sum _j^{m}k({\mathrm{P}}_{\mathrm{i}},{\mathrm{Q}}_{\mathrm{j}})+\frac{1}{m^2}\sum _j^m\sum _{j^{\prime }}^{m}k({\mathrm{Q}}_{\mathrm{j}},{\mathrm{Q}}_{{\mathrm{j}}^{\prime }})\end{array}$$

通过以上公式已经可以对MMD的值进行计算，我们可以进一步将$\mathrm{MM}{\mathrm{D}}^2$的表达式写成矩阵形式以简化公式：
$$\mathrm{MM}{\mathrm{D}}^2(\mathrm{P},\mathrm{Q})=\frac{1}{{\mathrm{n}}^2}{\mathrm{k}}_{\mathrm{P},{\mathrm{P}}^{\prime }}-\frac{2}{\mathrm{nm}}{\mathrm{k}}_{\mathrm{P},\mathrm{Q}}+\frac{1}{{\mathrm{m}}^2}{\mathrm{k}}_{\mathrm{Q},{\mathrm{Q}}^{\prime }}$$
进一步进行矩阵化：
$$K=\left[\begin{array}{cc}{k}_{P,P^{\prime }}& k_{P,Q}\\ k_{P,Q}& k_{Q,Q^{\prime }}\end{array}\right],L=\left[\begin{array}{cc}\frac{1}{n^2}& -\frac{1}{nm}\\ -\frac{1}{nm}& \frac{1}{m^2}\end{array}\right]$$
$$KL=\left[\begin{array}{cc}\frac{1}{n^2}{k}_{P,P^{\prime }}-\frac{1}{nm}{k}_{P,Q}& do{n}^{\prime }tcare\\ do{n}^{\prime }tcare& -\frac{1}{nm}{k}_{P,Q}+\frac{1}{m^2}{k}_{Q,Q^{\prime }}\end{array}\right]$$
最终得到$\mathrm{MM}{\mathrm{D}}^2$的矩阵化简化形式：
$$\mathrm{MM}{\mathrm{D}}^2=\mathrm{tr}(\mathrm{KL})$$

补充：高斯核函数

高斯核函数的定义为：$k(u,v)=e^{-\frac{{\Vert u-v\Vert }^2}{\sigma }}$
实际应用中，会选取多个$\sigma$作为核函数组成函数集$\mathcal{F}$计算Mk-MMD。

本文参考：

https://www.bilibili.com/video/BV1vT4y177jt
https://blog.youkuaiyun.com/ChangHengyi/java/article/details/80577318