统计学基础知识点刷题（task4）

参考视频：可汗学院《统计学》
参考书籍：《深入浅出统计学》

概念1：线性回归

1. 场景

坐标系中若干点，要找出一条直线$y=mx+b$，使这些点到该直线上同一横坐标的点的距离平方和最小。需要求出斜率$m$和截距$b$。

注意：这里不是最小化这些点到该直线的距离的平方和，而是到直线的竖直距离（在主成分分析法中，求取新的主成分时采用的是最大化方差，采用了点到直线投影的可视化方式，与这里有些相似，注意不要混淆）。如下图：

2. 求直线的斜率和截距

主要通过最小化下图所示公式来求解，下面的方法就是有名的最小二乘回归：
$$\begin{array}{rl}S{E}_{line}& =\sum _{i=1}^n(y_i-(m{x}_i+b){)}^2\\ & =\sum _{i=1}^n{y_i}^2-2\sum _{i=1}^n{y}_i\ast (m{x}_i+b)\\ & +\sum _{i=1}^n(m^2{x}_i^2+2mb{x}_i+b^2)\\ & =\sum _{i=1}^n{y_i}^2-2m\sum _{i=1}^n{x}_i{y}_i\\ & -2b\sum _{i=1}^n{y}_i+m^2\sum _{i=1}^n{x}_i^2\\ & +2mb\sum _{i=1}^n{x}_i+n{b}^2\\ & =n\overline{y}\\ & \end{array}$$