28、核方法与特征选择提取的深入解析

核方法与特征选择提取的深入解析

1. 核判别分析

1.1 两类问题的核判别分析

在核方法中，对于两类问题的核判别分析，通过一系列推导得出相关结论。当令 $\lambda = \alpha^{\top}K_W \alpha$ 时，(6.74) 是 (6.73) 的解。由于 $K_{W1}$ 和 $K_{W2}$ 是半正定的，所以 $K_W$ 也是半正定的。若 $K_W$ 是正定的，$\alpha$ 可表示为：
$\alpha = K_{W}^{-1}(k_{B1} - k_{B2})$ (6.76)

对于非线性核，即使选择线性无关的向量 $y_1, \ldots, y_{M’}$，$K_W$ 也可能是半正定（即奇异的）。为克服奇异性，有两种方法：
- 方法一 ：在对角元素上加正值，公式为：
$\alpha = (K_W + \varepsilon I)^{-1}(k_{B1} - k_{B2})$ (6.77)
其中 $\varepsilon$ 是一个小的正参数。
- 方法二 ：使用伪逆，公式为：
$\alpha = K_{W}^{+}(k_{B1} - k_{B2})$ (6.78)
这种方法在最小二乘意义上给出解。

此外，在 (6.66) 中，可使用总散度矩阵 $Q_T$ 代替类内散度矩阵 $Q_W$，$Q_T$ 的计算公式为：
$Q_T = \frac{1}{M} \sum_{j = 1}^{M}(\varphi(x_j) - c)(\varphi(x_j) - c)^{\top}$ (6.79)