【machine learning-11-梯度下降的数学公式推导】

本节是关于梯度下降的数学公式推导，用的是微积分的一点概念，实际上在应用时，可以不需要了解细节就能使用。
首先线性模型如下：

均方差的损失函数如下：

实现梯度下降的算法如下：

其中重点就是计算右侧这个关于w或者b的偏导数，实际上损失函数关于w的偏导数结果是这个：

损失函数关于b的偏导数如下所示，这两个结果很像，就差一个x⁽ⁱ⁾项

如果还记得微积分概念的话，很容易计算出w和b的偏导，下面是w的偏导数的推理过程，b也是同样的：