7、神经网络权重选择与训练详解

神经网络权重选择与训练详解

1. 学习率与Hebbian调优

在神经网络中，学习率是一个关键参数。对于具有L个输入神经元的神经网络层，若满足特定条件（如$|z|_2 < L + 1$），自适应学习率$\eta(k)$有下限：
$\eta(k) = \frac{1}{L + 1}$

这意味着，当$v = 1$时，$\frac{1}{L + 1}$是该层安全的最大允许学习率，安全的学习率$\eta$应小于此值。

Hebbian调优是一种基于心理学经典条件反射实验和联想记忆范式的算法。对于单层神经网络，其回忆方程为：
$y^{\ell}=\sigma(\sum_{j=1}^{n}V_{\ell j}X_{j}+V_{\ell 0}); \ell = 1,2,\cdots,L$

若神经网络要区分$P$个模式$X^1, X^2, \cdots, X^P$，每个模式在$\mathbb{R}^n$中，且当网络为方阵（即$L = n$）时，模式$X^P$稳定的条件是其稳定参数均为正：
$\sum_{j\neq\ell}V_{\ell j}X_{j}^{p}X_{\ell}^{p}>0; \ell = 1,2,\cdots,n$

定义代价函数为：
$E = -\sum_{p = 1}^{P}\sum_{\ell = 1}^{n}\sum_{j = 1}^{n}V_{\ell j}X_{j}^{p}X_{\ell}^{p}$

最小化该代价函数可得到较大的稳定参数。使用梯度算法可得Hebbian调优规则：
$V_{\ell j} = V_{\ell j} + \eta\sum_{p