34、半监督学习中的峰值现象与步态识别特征提取

半监督学习中的峰值现象与步态识别特征提取

1. 半监督学习中的分类器

在半监督学习里，Raudys 和 Duin 所研究的分类器，和我们想要研究的最小二乘分类器并非直接对应，也不清楚该如何将其拓展到半监督环境中。所以，我们采用了一个稍有不同的版本：
[w = T^{-1}(m_1 - m_2)]
当 (n > p) 时，这个式子和另一个式子得出的分类器是相同的。而且，当数据居中（(m = 0)）且类别先验完全相等时，它就等同于最小二乘分类器的解，该分类器能最小化平方损失 ((x_i^{\top} w - y_i)^2)，其解为：
[w = (X^{\top}X)^{-1}X^{\top}y]
这里的 (y) 是包含标签数值编码的向量，(X) 是 (L \times p) 的设计矩阵，包含 (L) 个带标签的特征向量 (x_i)。

当 (n > p) 时，上述两个式子是等价的，但在 (n < p) 的情况下，解不一定相同。这就导致无法直接运用相关结果来得到学习曲线的良好定量估计，而且其证明也难以适用于这个新的分类器。这是因为总散度矩阵 (T)（在 (m = 0) 时与 (X^{\top}X) 成正比）和均值向量 (m_c) 之间存在依赖关系，使得近似推导变得复杂。不过，其结果能对半监督环境中的峰值现象给出定性解释。

要把最小二乘分类器应用到半监督环境中，可根据额外的无标签数据更新 (T)（它不依赖于类别标签）。等价地，在最小二乘环境下，也可以通过代入协方差项 (X^{\top}X) 的更好估计来改进最小二乘分类器。我们将半监督最小二乘分类器定义为：
[w = (\frac{L}{L + U} X_e^{\top}X