超级会员免费看
本文介绍了批量、小批量和随机梯度下降的区别，通过实例展示了它们如何找到最优解。同时，详细探讨了线性回归的最小二乘法及其导数和偏导数的概念，解释了在梯度下降中求偏导数的重要性。
这里批量梯度下降,就是用准备的所有样本数据进行梯度下降计算.
然后小批量梯度下降就是使用比如我一共有500个样本,那么我从中拿出50个样本进行梯度下降计算.
然后随机梯度下降,更厉害, 从一共有500个样本中,随机的取一个样本进行梯度下降计算,
首先我们看批量梯度下降,使用所有样本数据,可以看到是蓝色的走的比较规律,最终得到最优解
然后小批量梯度下降是绿色的,可以看到因为用了一部分样本所以,走的比较乱,但是最终也到了最优解.
然后随机梯度下降,因为只有一个样本数据,所以数据量小,那么他走的就可以看到,来回拐弯,最终也会收敛.就像是森林中迷路,只要沿着一条小河走,最终都会走出去一样.
上面是上一节我们做梯度下降,自己写的代码,可以回顾一下,过程
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
