13、最大均值差异（MMD）、希尔伯特 - 施密特独立性准则（HSIC）及相关核函数性质

最大均值差异（MMD）、希尔伯特 - 施密特独立性准则（HSIC）及相关核函数性质

1. MMD 与 HSIC 基础

在机器学习的研究中，MMD（最大均值差异）和 HSIC（希尔伯特 - 施密特独立性准则）是重要的概念。对于相关的范数，有如下定义：
[
\begin{align }
|\mathcal{Y} \mathcal{X}| {HS}^2&=\sum {i = 1}^{\infty}|\mathcal{Y} \mathcal{X} e_{X,i}| {H_Y}^2\
&=\sum {i = 1}^{\infty}\sum_{j = 1}^{\infty}\langle e_{Y,j}, \mathcal{Y} \mathcal{X} e_{X,i}\rangle_{H_Y}^2\
&=\sum_{i = 1}^{\infty}\sum_{j = 1}^{\infty}\langle e_{X,i} \otimes e_{Y,j}, m_{XY} - m_X m_Y\rangle_{H_X \otimes H_Y}^2\
&=|m_{XY} - m_X m_Y|_{H_X \otimes H_Y}^2
\end{align }
]
同样，(|\mathcal{X} \mathcal{Y}|_{HS}^2) 也具有相同的值。

2. 特征核与通用核

2.1 概率嵌入

设 (H) 是再生核希尔伯特空间（RKHS），(k) 是其再生核，(P) 是随机变量 (X) 所遵循