Stanford Online-统计学习-ISLR-Ch3-Linear Regression

1. 线性模型

简单粗暴，直接上模型：

$$Y = \beta_0 + \beta_1X + \epsilon$$
这是对“世界上所有数据“的假想模型，即我们 假设“世界上所有数据“是从这个模型中产生的。虽然我们也不清楚这个假设对不对，但是就是这样假设了，看看结果好不好再决定对不对。

但是我们得不到“世界上所有的数据“，我们只有“训练数据集“，所以我们可以得到的模型是这样的：

$$\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1X + \epsilon$$
“hat“表示这个变量是estimated的，不是real的，也就是说我们对上面的“假设“在进行了一次假设。效果好不好得看结果才知道，这里就这么粗暴地假设了。

2. 损失函数

模型中未知的是$\hat{\beta}$，将通过损失函数来得道。直接上损失函数，来评估这个estimated的模型的好坏，从而得到好的$\hat{\beta}$。

定义“残差“ (residual)：$e_i = y_i - \hat{y_i}$

定义“残差和“ (Residual Sum of Squares)：$RSS = e^2_1 + e^2_2 + ... + e^2_n$

我们的目的，让“残差和“最小。于是通过“求导等于0“来求解极小值点。因为只有$\hat{\beta}$，所以“求导等于0“可以把相应的$\hat{\beta}$求解出来。

3. 参数“好坏“评估

下面用“统计学“中的方法来评估一下这个模型，看看参数对不对，好不好。

3.1 Standard Error

$\beta_0$和$\beta_1$的 Standard Error 定义如下：

$$SE{(\hat{\beta}_1)}^2 = \frac{Var^2(\epsilon)}{\sum^{n}_{i=1}{(x_i-\overline{x})}^2}$$

$$SE{(\hat{\beta}_0)}^2 = Var^2(\epsilon) \left[ \frac{1}{n} + \frac{{\overline{x}}^2}{\sum^n_{i=1}{(x_i - \overline{x})}^2}\right]$$
以上就是定义，不用去纠结为什么。

那么来看看这个SE究竟想说明什么:
1. SE越小说明参数估计越好
2. $Var(\epsilon)$是由于采样造成的噪声，是模型估计中不可避免的误差。如果采样过程中的误差太大，预测出来的模型自然不会太好，即SE会较大
3. ${(x_i-\overline{x})}^2$很小，就是说，训练集中的数据比较密集地聚拢在一处，这样子预测出来的模型自然不好啊。所以这个告诉我们，训练数据要尽量分散。见下图对比：

3.2 Confident Interval 置信区间

Standard Error可以用来计算“置信区间“，置信度为95%，计算方式如下：

$$\left[ \hat{\beta}_1 - 1.96 \cdot SE(\hat{\beta}_1), \ \ \ \hat{\beta}_1 + 1.96 \cdot SE(\hat{\beta}_1)\right]$$

置信度为95%的置信区间的意思是：该区间有95%的概率会包含真实模型参数的$\beta_1$。

3.3 Hypothesis Testing 假设检验

所谓“假设检验“就是先给定一个假设，然后希望能够推翻这个假设。称这个希望被推翻的假设为“零假设(null hypothesis) $H_0$“，该假设对立面为$H_A$ 。

紧接着上面的一元线性模型：$\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1X + \epsilon$，令：

$H_0$：X和Y之间没有关系，即$\beta_1=0$
$H_A$：X和Y之间有关系，即$\beta_1 \neq 0$

接下来就要用一些“统计学“的方法来推翻这个零假设$H_0$，证明X和Y之间有关系。

3.3.1 T-statistic T值

Standard Error被用来计算T值，于是T值定义如下：

$$t = \frac{\hat{\beta}_1-\beta_1}{SE(\hat{\beta}_1)}$$
因为要用反证法推翻 $H_0$，所以现在假设 $H_0$成立，即 $\beta_1=0$，所以T值变成了这样：
$$t = \frac{\hat{\beta}_1-0}{SE(\hat{\beta}_1)}$$

3.3.2 p-value p值

p值的定义为：当$H_0$成立时，观测到任何$\geq |t|$的值的概率

3.3.3 推翻“零假设$H_0$“

大“T值“，小“P值“，$H_0$被推翻，$\beta_1 \neq 0$，X和Y有关；
小“T值“，大“P值“，$H_0$被认可，$\beta_1 = 0$，X和Y无关；

如下的例子：

3.3.4 X和Y之间的关联性有多强

既然推翻了零假设，证明了X和Y之间是有联系的，那么这种联系有多强呢？我们用$R^2$来反映这种关联性。

$$R^2 = \frac{TSS - RSS}{TSS} = 1 - \frac{RSS}{TSS}$$

$$RSS = \sum^n_{i=1}{(y_i - \hat{y}_i)}^2$$

$$TSS = \sum^n_{i=1}{(y_i - \overline{y})}^2$$

在一元线性模型中，不难证明，$R^2 = r^2$，其中$r$是X和Y之间的correlation：

$$r = \frac{ \sum^n_{i=1}(x_i - \overline{x})(y_i - \overline{y})}{\sqrt{\sum^n_{i=1}{(x_i - \overline{x})}^2}\sqrt{\sum^n_{i=1}{(y_i - \overline{y})}^2}}$$
于是，$R^2$越大，一元线性模型中X和Y的关联性就越强。