[搬运]MATLAB newff函数训练模式

本文详细介绍了多种神经网络训练算法,包括最速梯度下降、有动量的梯度下降、弹性BP、Fletcher-Reeves变梯度、Polak-Ribiére变梯度等,对比了它们的优缺点及适用场景,为读者提供了丰富的算法选择依据。

来源https://www.ilovematlab.cn/thread-51000-1-1.html

模式算法备注
traingd最速梯度下降算法收敛速度慢,网络易陷于局部极小,学习过程常发生振荡
traingdm有动量的梯度下降算法收敛速度快于traingd
traingdx学习率可变的BP算法收敛速度快于traingd,仅用于批量模式训练
trainrp弹性BP算法用于批量模式训练,收敛速度快,数据占用存储空间小
traincgfFletcher-Reeves变梯度算法数据占用存储空间最小的变梯度算法,速度比traingdx快得多,连接权的数量很多时,常用该算法
traincgpPolak-Ribiére变梯度算法存储空间略大于traincgp,但对有些问题有较快的收敛速度
traincgbPowell-Beale变梯度算法性能略好于traincgp,但存储空间较之略大
trainscg固定变比的变梯度算法需要更多迭代次数,但无需在迭代中进行线性搜索,每次迭代的计算量大大减小,存储空间与traincgf近似
trainbfgBFGS拟牛顿算法每次迭代过程所需的计算量和存储空间大于变梯度算法,数据存储量近似于Hessian矩阵,对规模较小的网络更有效
trainoss 变梯度法与拟牛顿法的折中算法
trainlmLevenberg-Marquardt算法对中等规模的前馈网络(多达数百个连接权)的最快速算法
trainbr贝叶斯归一化法可使网络具有较强的泛化能力,避免了以尝试的方法去决定最佳网络规模的大小
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值