人工智能—优化算法,mini-batch,指数加权平均,mini-batch梯度下降
几个专业术语
1.mini-batch梯度下降:用子训练集进行梯度下降。
2.batch梯度下降:用整个训练集进行梯度下降
3.随机梯度下降:用一个样本进行梯度下降
4.epoch:对整个训练集进行一次梯度下降
训练神经网络的目的就是找到一组参数使成本函数最小,下图代表了成本函数,中间点为最小。蓝色的代表batch梯度下降,紫色的代表随机梯度下降,绿色的代表mini-batch梯度下降。有人会觉得直接使用batch梯度下降不是很好吗,但如果输入的数据集过大的话,电脑的cpu不能承受,并且学习周期太过漫长,如
原创
2020-12-10 20:46:08 ·
560 阅读 ·
1 评论