33、再生核希尔伯特空间框架在信息论学习中的应用

再生核希尔伯特空间框架在信息论学习中的应用

1. 基于欧氏距离的MAP分类器

在分类问题中，我们有来自两个不同分布 $p(x)$ 和 $q(x)$ 的训练数据点。设从 $p(x)$ 中抽取的训练数据点为 ${x_i}, i = 1, \ldots, N_1$，从 $q(x)$ 中抽取的为 ${x_j}, j = 1, \ldots, N_2$。我们的目标是构建一个分类器，将测试数据点 $x_0$ 分配到类别 $c_1$ 或 $c_2$ 中。

首先，我们定义 Parzen 估计器：
$\hat{p} o(x) = \frac{1}{N_1 + 1} \sum {i = 0}^{N_1} \kappa(x, x_i)$
$\hat{q} o(x) = \frac{1}{N_2 + 1} \sum {j = 0}^{N_2} \kappa(x, x_j)$

这里，$\hat{p}_o(x)$ 是假设 $x_0$ 包含在 $c_1$ 数据类中时 $p(x)$ 的 Parzen 估计器，$\hat{q}_o(x)$ 是假设 $x_0$ 包含在 $c_2$ 数据集中时 $q(x)$ 的 Parzen 估计器。

基于 DED（欧氏距离）的分类策略是根据以下规则对 $x_0$ 进行分类：
$x_0 \in c_1 : \int (\hat{p}_o(x) - \hat{q}(x))^2 dx \geq \int (\hat{p}(x) - \hat{q}_o(x))^2 dx$
否则，将 $x_0$ 分配到 $c_2$。简单来说，该规则将 $x_0$ 分配到这样一个类别：当 $x_0$ 被添加