12、最大均值差异（MMD）与希尔伯特 - 施密特独立性准则（HSIC）详解

最大均值差异（MMD）与希尔伯特 - 施密特独立性准则（HSIC）详解

在数据分析和统计学领域，我们常常需要对数据的分布和变量之间的独立性进行检验。最大均值差异（MMD）和希尔伯特 - 施密特独立性准则（HSIC）就是两种重要的工具，它们在两样本问题和独立性检验中发挥着关键作用。

1. 互协方差算子

互协方差算子 ( \mathcal{T} {XY} ) 和 ( \mathcal{T} {YX} ) 满足以下关系：
[ \langle f \otimes g, m_{XY} - m_X m_Y \rangle_{H_X \otimes H_Y} = \langle \mathcal{T} {YX} f, g \rangle {H_Y} = \langle f, \mathcal{T} {XY} g \rangle {H_X} ]
这里的证明过程涉及到算子共轭和线性泛函的有界性。对于任意的 ( g \in H_Y )，线性泛函 ( T_g: H_X \ni f \mapsto \langle f \otimes g, m_{XY} - m_X m_Y \rangle_{H_X \otimes H_Y} \in \mathbb{R} ) 是有界的，即
[ \langle f \otimes g, m_{XY} - m_X m_Y \rangle_{H_X \otimes H_Y} \leq | f | {H_X} | g | {H_Y} | m_{XY} - m_X m_Y | {H_X \otimes H_Y} ]
根据相关命题，存在 ( h_g \in H_X )