来源https://www.ilovematlab.cn/thread-51000-1-1.html
| 模式 | 算法 | 备注 |
| traingd | 最速梯度下降算法 | 收敛速度慢,网络易陷于局部极小,学习过程常发生振荡 |
| traingdm | 有动量的梯度下降算法 | 收敛速度快于traingd |
| traingdx | 学习率可变的BP算法 | 收敛速度快于traingd,仅用于批量模式训练 |
| trainrp | 弹性BP算法 | 用于批量模式训练,收敛速度快,数据占用存储空间小 |
| traincgf | Fletcher-Reeves变梯度算法 | 数据占用存储空间最小的变梯度算法,速度比traingdx快得多,连接权的数量很多时,常用该算法 |
| traincgp | Polak-Ribiére变梯度算法 | 存储空间略大于traincgp,但对有些问题有较快的收敛速度 |
| traincgb | Powell-Beale变梯度算法 | 性能略好于traincgp,但存储空间较之略大 |
| trainscg | 固定变比的变梯度算法 | 需要更多迭代次数,但无需在迭代中进行线性搜索,每次迭代的计算量大大减小,存储空间与traincgf近似 |
| trainbfg | BFGS拟牛顿算法 | 每次迭代过程所需的计算量和存储空间大于变梯度算法,数据存储量近似于Hessian矩阵,对规模较小的网络更有效 |
| trainoss | 变梯度法与拟牛顿法的折中算法 | |
| trainlm | Levenberg-Marquardt算法 | 对中等规模的前馈网络(多达数百个连接权)的最快速算法 |
| trainbr | 贝叶斯归一化法 | 可使网络具有较强的泛化能力,避免了以尝试的方法去决定最佳网络规模的大小 |

本文详细介绍了多种神经网络训练算法,包括最速梯度下降、有动量的梯度下降、弹性BP、Fletcher-Reeves变梯度、Polak-Ribiére变梯度等,对比了它们的优缺点及适用场景,为读者提供了丰富的算法选择依据。
1535

被折叠的 条评论
为什么被折叠?



