46、最优核的扩展分析与局部多核及分类器的同步学习

最优核的扩展分析与局部多核及分类器的同步学习

1. 核机器学习与模型选择

核机器学习，以支持向量机（SVM）和核岭回归为代表，是信息科学多个领域（如模式识别、回归估计和密度估计）的强大工具。为了获得理想的学习结果，合适的模型选择至关重要。虽然在固定模型空间中（如正则化参数的选择）的模型选择在理论和实践上都有充分研究，但模型空间本身的选择在理论层面研究不足，尽管有像交叉验证这样的实用算法用于核（或其参数）的选择。

核选择（或其参数）理论分析的难点在于，对应不同核的两个再生核希尔伯特空间（RKHS）的度量通常不同，这意味着我们缺乏统一框架来评估不同核的学习结果。为避免这一困难，研究人员曾考虑一类对应 RKHS 具有不变度量的核，并证明包含未知真实函数的最小再生核希尔伯特空间对应的核给出最佳模型。

2. 再生核希尔伯特空间的数学预备知识

• 再生核的定义 ：设 $R^n$ 是 $n$ 维实向量空间，$H$ 是定义在 $D \subset R^n$ 上的实值函数类，构成一个希尔伯特空间。若函数 $K(x, \tilde{x})$（$x, \tilde{x} \in D$）满足：
  1. 对于每个 $\tilde{x} \in D$，$K(\cdot, \tilde{x})$ 是属于 $H$ 的函数。
  2. 对于每个 $\tilde{x} \in D$ 和每个 $f \in H$，$f(\tilde{x}) = \langle f(\cdot), K(\cdot, \tilde{x}) \rangle_H$，其中 $\langle \cdot, \cdot \rangle_