7、主成分分析算法全面解析

主成分分析算法全面解析

1. 算法转换基础与局限性

在主成分分析（PCA）相关算法中，存在一种基于Robbins - Monro条件的转换方式。该条件要求学习率随着时间 (t) 趋于无穷大时逐渐趋近于零。然而，这种限制在实际应用中并不实用，尤其是在处理非平稳数据的学习过程中。为了解决这一问题，有人提出将随机离散时间算法转换为确定性离散时间公式，从条件期望的角度来描述其平均演化。这种方法已应用于Oja规则，并对其动态进行了分析，在某些不变子空间中还观察到了混沌行为。通过选择一些恒定的学习率，能够保证Oja规则的收敛性，例如有建议将恒定学习率设为 (\eta = 0.618 k_1)。

2. 基于Hebbian/反Hebbian规则的主成分分析

2.1 Hebbian规则相关算法基础

基于Hebbian规则的PCA算法包括单PCA算法、多PCA算法和主子空间分析算法。这些神经PCA算法源于Oja的开创性工作。神经元的输出通过 (y = w^T x) 更新，其中 (w = (w_1, w_2, \ldots, w_{J_1})^T)，激活函数为线性函数 (u(x) = x)。PCA与Hebbian规则密切相关，这里所讨论的PCA算法均基于Hebbian规则。网络模型由Oja首次提出，使用J1 - J2前馈神经网络（FNN）来提取前J2个主成分（PC），网络输出为 (y = W^T x)，其中 (y = (y_1, y_2, \ldots, y_{J_2})^T)，(x = (x_1, x_2, \ldots, x_{J_1})^T)，(W = [w_1, w_2, \ldots, w_{J_2}])，(w_i = (w_{1i}, w_{2i}, \ldot