梯度下降法求解一元线性回归问题
这是一元线性回归的平方损失函数
L o s s = 1 2 ∑ i = 1 n ( y i − y i ^ ) 2 = 1 2 ∑ i = 1 n ( y i − ( w x i + b ) ) 2 Loss=\frac{1}{2}\sum^n_{i=1}(y_i-\hat{y_i})^2=\frac{1}{2}\sum^n_{i=1}(y_i-(wx_i+b))^2 Loss=21∑i=1n(yi−yi^)2=21∑i=1n(yi−(wxi+b))2
这里的样本点x和y都是已知的，变量是w和b。
我们的目标是找到使损失函数达到最小值的w和b。
如果我们能够确定这个损失函数是一个凸函数，那么就可以采用梯度下降法来求解，把损失函数中的平方项展开，可以得到这样的形式。
= 1 2 ∑ i = 1 n x i 2 w 2 + b 2 + 2 x i w b − 2 y i b − 2 x i y i w + y i 2 =\frac{1}{2}\sum^n_{i=1}x_i^2w^2+b^2+2x_iwb-2y_ib-2x_iy_iw+y_i^2 =21∑i=1nxi2w
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
