本文深入探讨了机器学习中的梯度下降算法，解释了如何利用该算法求解代价函数的最小值。通过实例说明了批量梯度下降的计算过程，强调了学习率（learning rate）的重要性，以及同步更新参数的必要性。同时，文章阐述了导数在确定下降方向中的作用，以及如何避免因学习率过大或过小导致的收敛问题。最后，文章指出梯度下降在寻找局部最小值时的动态调整机制，并介绍了其在实际线性回归问题中的应用。
在阅读这篇博文之前你需要了解的数学知识：
1，误差：本篇用平方差误差公式。
2，函数的收敛性：当函数趋向无穷大或无穷小，或某个具体数值时，该函数总是逼近某个值，这就是函数的收敛性。
3，导数：导数的数学意义就是这个点的斜率。
4，矩阵。
在《机器学习笔记02-代价函数与梯度下降算法（一）》中我们谈到代价函数：
而在本篇博文中，我们将讨论如何用梯度下降算法求解代价函数J(θ0,θ1) 的最小值。
梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
