28、半监督学习与小波核主成分分析在数据分类中的应用

半监督学习与小波核主成分分析在数据分类中的应用

半监督学习算法：拉普拉斯正则化KMSE

在机器学习中，半监督学习是一种利用有标签和无标签数据进行学习的方法。拉普拉斯正则化KMSE（LapKMSE）算法就是这样一种半监督学习算法，它通过将流形结构融入到KMSE的目标函数中，来提高分类的性能。

流形正则化

在标准学习框架中，存在一个关于$X ×R$的概率分布$P$，用于生成用于函数学习的示例。有标签的示例是根据$P$抽取的$(x, y)$对，而无标签的示例是根据$P$的边缘分布$PX$生成的$x ∈X$。在许多应用中，边缘分布$PX$是未知的。相关研究表明，边缘分布和条件分布之间可能存在关系。流形假设认为，如果两个示例$x1, x2 ∈X$在$PX$的内在几何结构中相似，那么条件分布$P(y|x1)$和$P(y|x2)$也相似。

为了利用流形结构，Belkin等人引入了拉普拉斯正则化。拉普拉斯正则化定义为$R = f^T Lf$，其中$L$是图拉普拉斯矩阵，定义为$L = D - W$，$f = [f(x1), · · ·, f(xn)]^T$是有标签和无标签示例的输出。$D$是一个对角矩阵，其元素$Dii = \sum_{j} Wij$，边缘权重矩阵$W = [Wij] {n×n}$定义如下：
[
W {ij} =
\begin{cases}
1, & \text{如果 } x_i \in N_p(x_j) \text{ 或 } x_j \in N_p(x_i) \
0, & \text{否则}
\end{cases}
]
其中$N_p(xi