9、基于广义均值的鲁棒主成分分析方法研究

基于广义均值的鲁棒主成分分析方法研究

在数据分析和机器学习领域，主成分分析（PCA）是一种常用的数据降维技术。然而，传统的PCA方法对数据中的离群点较为敏感，离群点可能会对分析结果产生较大的负面影响。为了缓解这种情况，本文提出了一种基于广义均值的鲁棒PCA方法。

1. 方法原理

传统的PCA方法通过最小化平方L2重建误差的均值来确定投影矩阵，而本文提出的PCA - GM方法则通过最小化平方L2重建误差的广义均值来间接修改每个样本的贡献。在实际应用中，当重建误差 $e_i(W(t))$ 为零或非常小时，如果 $p < 1$，$e_i(W(t))^{p - 1}$ 在数值上是不稳定的，这会导致算法无法继续进行。为了解决这个问题，可以在每个 $e_i(W)$ 中添加一个小常数 $\delta$，即：
$e_i(W)’ = x_i^T x_i - x_i^T W W^T x_i + \delta$
其中，$\delta$ 应足够小，以确保修改后的目标函数不会受到太大影响。这种扰动还会将 $S(t) {\beta}$ 变为 $\hat{S}(t) {\beta}$：
$\hat{S}(t) {\beta} = \sum {i = 1}^{N} \beta(t)_i (x_i x_i^T + \frac{\delta}{n})$
其中，$n$ 是数据的原始维度。

2. 实验设计

为了评估所提出的方法，进行了人脸重建、数字聚类和对象分类三个实验，并将其与PCA、PCA - L1、R1 - PCA和HQ - PCA进行比较。除了传统的PCA外，其他方法都有需要预先确定的参数，参数值根