15、主成分与次成分分析的双用途算法研究

主成分与次成分分析的双用途算法研究

1. 双用途算法概述

在信号处理领域，对于平稳信号，$W_k$ 渐近收敛到列正交矩阵。当 $W^T_k W_k$ 近似为 $I_r$ 时，可得到用于主成分（PS）和次成分（MS）跟踪的随机 Oja 算法：
[W_{k + 1} = W_k - \lambda (x_k y^T_k - W_k y_k y^T_k)]
不过，用于 MS 跟踪的 Oja 算法不具备自稳定特性，而双用途子空间跟踪算法则无论用于 PS 跟踪还是 MS 跟踪，都具有自稳定特性。

2. 双用途子空间跟踪算法的数值模拟

为了验证双用途子空间跟踪算法的性能，进行了一系列数值模拟实验，具体如下：
- 自稳定特性与收敛性实验
- 跟踪维度为 5 的 PS 或 MS，向量数据序列由 $X_k = B \cdot y_k$ 生成，其中 $B$ 随机生成。
- 为衡量学习算法的收敛速度和精度，计算第 $k$ 次更新时状态矩阵的范数 $\rho(W_k)$ 和索引参数 $dist(W_k)$，若 $dist(W_k)$ 收敛到 0，则 $W_k$ 构成 MS 或 PS 的正交基。
- 模拟中，令 $B = \frac{1}{31}randn(31, 31)$，$y_t$ 为高斯、时空白噪声且随机生成。
- 分别设置初始权重值归一化到模为 2.5（大于 1）和 0.5（小于 1）进行实验，所有学习曲线均通过 30 次独立实验平均得到。
- 实验结果表明，无论初始状态矩阵的范数大于还是小于 1，双用途算法的状态矩阵都能收敛到 PS 或 MS 的正交基，体现了自稳定特性。 <