线性回归

 

引入

       假设一平面直角坐标系上有许多散落的点，要求找到一条直线$$l:y=kx+b$$，使得 $l$ 能尽可能地拟合这些点。
 
 

损失函数

       以损失函数为评判标准，判断哪条直线更优。损失函数本质上是残差平方和，也称欧式距离。
 
 

最小二乘估计

       利用最小二乘估计计算$k、b$。根据损失函数倒推最佳的 $k$。若将 $k$ 视为自变量，则损失是 $k$ 的二次函数。易知，导数为 $0$ 时损失最小。固求得 $k$。
 
 
 
参考链接：
https://zhuanlan.zhihu.com/p/72513104