YB菜菜的机器学习自学之路(二)——简单了解代价函数
前提说明
依然以一元一次函数为例子展开说明。
1、误差估计-最小二乘法
图1
从(一)中我们知道,我们通过一个点一个点的调整得到最终的w,从而得到最终预期函数 y = w x y=wx y=wx。
其本质就是找到这么一条拟合曲线,使得所有观测点到达这个曲线的差值最小,如图1所示。
最直观的表现为: e i = y i − y p r e e_{i}=y_{i}-y_{pre} ei=yi−ypre, ——> e = 1 m ∑ i = 1 i = m e i ( 1 ) e=\frac{1}{m}\sum_{i=1}^{i=m}e_{i} (1) e=m1∑i=1i=mei(1)
但是,由于直接做差得到的误差 e e e存在正负,会导致明明差距很大,但求和后的误差 e e e值非常小。
为了解决这个问题,我们对误差进行平方,即:
e i = ( y i − y p r e ) 2 = ( y i − w ∗ x i ) 2 e_{i}=(y_{i}-y_{pre})^{2}=(y_{i}-w*x_{i})^{2} ei