21、在线提取小广义特征向量的算法及分析

在线提取小广义特征向量的算法及分析

1. 引言

在许多实际应用中，如降维和信号处理，除了提取主广义特征向量外，自适应地提取小广义特征向量也是必要的。与矩阵束的最小广义特征值相关联的特征向量被称为小广义特征向量。接下来将介绍几种提取小广义特征向量的算法及其相关性质。

2. 现有提取小广义特征向量的算法

2.1 提取第一个小LDA变换的算法

• 从线性判别分析的角度，使用单层线性前馈神经网络推导了一种自适应算法。考虑一个两层线性前馈网络，输入到隐藏层的权重矩阵为 $W$，隐藏到输出层的权重矩阵为 $V$。
• 基于准则 $J(w; v) = E\left[\left|d - vw^Tx\right|^2\right] + \lambda(w^TS_bw - 1)$，使用梯度上升法，可推导出计算第一个主广义特征向量的迭代算法：
• $w(k + 1) = w(k) + \eta(S_mw(k) - S_bw(k)w^T(k)S_mw(k))$，其中 $\eta$ 是学习率，$S_m = E[xx^T]$，$S_b = MM^T$，$M = E[xd^T]$。
• 当上述算法收敛时，权重向量 $w(k) \to w$，$w$ 是矩阵束 $(S_m; S_b)$ 的第一个主广义特征向量。第一个小广义特征向量 $\tilde{w}$ 可通过 $\tilde{w} = \frac{w}{\sqrt{w^TS_mw}}$ 得到。

2.2 提取多个小LDA变换的算法

• 假设存在 $p$ 个隐藏神经元，且第 $(j - 1)$ 个神经