19、神经网络相关研究：RELM随机性能降低效应与高阶神经网络非负周期解稳定性

神经网络相关研究：RELM随机性能降低效应与高阶神经网络非负周期解稳定性

1. RELM随机性能降低效应研究

1.1 学习过程分析

RELM（正则化极限学习机）模拟结果显示其有降低随机性的效应。从公式角度来看，目标估计矩阵可重写为：
[
\begin{align }
H\beta&=[G(X\omega_1 + b_1) G(X\omega_2 + b_2)) \cdots G(X\omega_L + b_L))]\beta\
&=\beta_1G(X\omega_1 + b_1) + \beta_2G(X\omega_2 + b_2) + \cdots + \beta_LG(X\omega_L + b_L)\
&=\beta_1G_1 + \beta_2G_2 + \cdots + \beta_LG_L = T
\end{align }
]
学习过程可视为寻找 $[G_1 G_2 \cdots G_L ]$ 的最佳线性组合来逼近目标向量 $T$。当 $L \geq N$ 时，ELM（极限学习机）会出现严重过拟合问题，所以通常 $L$ 远小于 $N$，这使得 $H\beta$ 只能在一定程度上逼近 $T$。由于 $\omega$ 和 $b$ 是随机生成的（$\omega \in[-1, 1]$ 且 $b \in[0, 1]$），每个 $G_i$ 会在 $[-G(-X), G(X + 1)]$ 范围内振荡，导致每次运行时 $G_i$ 的线性组合对 $T$ 的逼近性能不同，这就是随机性能问题的根源。

1.2 RELM的优势及相关引理