11、自稳定神经网络算法在主成分分析与总最小二乘法中的应用

自稳定神经网络算法在主成分分析与总最小二乘法中的应用

1. 动态稳定性与学习率的关系

在神经网络学习算法中，动态稳定性与学习率密切相关。通过随机离散时间（SDT）系统的方法进行分析，从公式(4.26)出发，可以得到权重在$t + 1$时刻的模平方表达式：
[
\begin{align }
\vert\vert W(t + 1)\vert\vert^2 &= W^T(t + 1)W(t + 1)\
&=\vert\vert W(t)\vert\vert^2 - 2\alpha(t) \left(\vert\vert W(t)\vert\vert^2 - 2\vert\vert W(t)\vert\vert^2y^2(t) - (y^2(t) + 1 - \vert\vert W(t)\vert\vert^4)\vert\vert W(t)\vert\vert^2\right)\
&+ \alpha^2(t) \left(\vert\vert W(t)\vert\vert^4y^2(t)\vert\vert X(t)\vert\vert^2 - 2\vert\vert W(t)\vert\vert^2y^2(t)(y^2(t) + 1 - \vert\vert W(t)\vert\vert^4) + (y^2(t) + 1 - \vert\vert W(t)\vert\vert^4)^2\vert\vert W(t)\vert\vert^2\right)\
&\approx\vert\vert W(t)\vert\vert^2 + 2\alpha(t) \left(1 - \vert\vert W(t)\vert\vert