11、自稳定神经网络算法在最小分量分析与总最小二乘法中的应用

自稳定神经网络算法在最小分量分析与总最小二乘法中的应用

1. 动态稳定性与学习率的关系

在分析动态稳定性和学习率的关系时，借助随机离散时间（SDT）系统进行研究。从公式（4.26）出发，可以推导出：
[
\begin{align }
\left\lVert W(t + 1)\right\rVert^2&=W^T(t + 1)W(t + 1)\
&=\left\lVert W(t)\right\rVert^2-2\alpha(t)\left[\left(W^T(t)W(t)\right)^{-2}\left\lVert W(t)\right\rVert^2\gamma^2(t)-\left(\gamma^2(t) + 1 - \left\lVert W(t)\right\rVert^4\right)\left\lVert W(t)\right\rVert^2\right]\
&+\alpha^2(t)\left[\left(W^T(t)W(t)\right)^{-4}\left\lVert W(t)\right\rVert^4\gamma^2(t)\left\lVert X(t)\right\rVert^2-2\left\lVert W(t)\right\rVert^2\gamma^2(t)\left(\gamma^2(t) + 1 - \left\lVert W(t)\right\rVert^4\right)+\left(\gamma^2(t) + 1 - \left\lVert W(t)\right\rVert^4\right)^2\left\lVert W(t)\right\rVert^2\right]\
&\ap