7、神经网络权重选择、训练及相关问题探讨

神经网络权重选择、训练及相关问题探讨

1. 神经网络学习率与Hebbian调优

1.1 自适应学习率

在神经网络中，对于特定条件下（如满足图1.1.3相关条件），自适应学习率 $\eta(k)$ 存在下限。当 $|z|/2 < L + 1$ 时，自适应学习率 $\eta(k)$ 由下式界定：
$\eta(k) = \frac{1}{L + 1}$
这里，对于具有 $L$ 个输入神经元的神经网络层，取 $v = 1$ 时，$\frac{1}{L + 1}$ 是安全的最大允许学习率，安全学习率 $\eta$ 应小于 $\frac{1}{L + 1}$。

1.2 Hebbian调优算法

在20世纪40年代，D. 0. Hebb提出了一种基于心理学经典条件反射实验及联想记忆范式的调优算法。对于一层神经网络，其回忆方程为：
$y_{\ell}=\sigma(\sum_{j = 1}^{n}V_{\ell j}x_j + V_{\ell 0}); \ell = 1, 2, …, L$
假设神经网络要区分 $P$ 个模式 $X^1, X^2, …, X^P$，每个模式在 $\mathbb{R}^n$ 中且分量为 $X_i^p$。当网络为方阵（即 $L = n$）时，一个模式 $X^P$ 稳定的条件是其稳定参数均为正：
$\sum_{j \neq \ell}V_{\ell j}X_j^pX_{\ell}^p > 0; \ell = 1, 2, …, n$
定义代价函数为：
$E = -\sum_{p = 1}^{P}\sum_{\ell = 1}^{n}\sum_{j = 1}^{n}V