4、神经网络训练算法全解析

神经网络训练算法全解析

1. 训练算法基础

在神经网络训练中，梯度下降是最简单的优化算法。它沿着性能函数下降最快的方向（即梯度的负方向）更新网络的权重和偏置。其一次迭代公式可表示为：$x_{k + 1} = x_k - \eta g_k$，其中$x_k$是当前权重和偏置的向量，$g_k$是当前梯度，$\eta$是学习率。此方程会不断迭代，直至网络收敛。

以下是神经网络工具箱软件中可用的基于梯度或雅可比方法的训练算法列表：
| Function | Algorithm |
| — | — |
| trainlm | Levenberg - Marquardt |
| trainbr | Bayesian Regularization |
| trainbfg | BFGS Quasi - Newton |
| trainrp | Resilient Backpropagation |
| trainscg | Scaled Conjugate Gradient |
| traincgb | Conjugate Gradient with Powell/Beale Restarts |
| traincgf | Fletcher - Powell Conjugate Gradient |
| traincgp | Polak - Ribiére Conjugate Gradient |
| trainoss | One Step Secant |
| traingdx | Variable Learning Rate Gradient Descent |
| traingdm