机器学习复习：线性回归1

Simple Linear Regression （简单的线性回归）

相关变量

example：

在过去的一个月里，猪肉的价格从8元一斤一路涨到了20元一斤。市面上的肉夹馍也逐渐从10元一个涨到了15元一个。在第二个月的第一天，我们发现猪肉的价格涨到了22元。那么肉夹馍的价格会涨到多少呢

variable(变量)：

1、preddict target(预测对象) :y (what we want to predict)
2、feature（特征): x 已知的参数

所以训练数据集为：
$$\{(x_i,y_i){\}}_{i=1}^n$$
假设我们对过去的30天进行了统计则 n=30,则 xi ,yi 分别为第 i 天的猪肉价格和肉夹馍价格。

parameters(参数)：

3、slope（斜率): β1
4、intercept（截距): β0

在上面的例子中，我们的预测对象y,就是肉夹馍的价格。而我们的已知特征x就是猪肉的价格。
那么关于y和x之间的关系，我们可以选择最简单的线性方程
$$y=ax+b$$
其中我们使$$\beta {}_0=b,\beta {}_1=a$$
便得到了关于肉夹馍价格x和猪肉价格y的线性预测模型：
$$\hat{y}=\beta {}_0+\beta {}_{1}x$$
在这个模型中，β0和β1这两个参数选的越好，模型的预测结果就越准确。

Least-Squares Fit:

在这里，我们使用least-squares(LS) fit去得到这两个参数。
首先计算 Residual sum of squares(RSS):
$$RSS(\beta {}_0,\beta {}_1)=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
为了进行下一步的计算，先声明一些需要计算的参数：

名称	公式
样本均值(Sample mean)	$$\begin{gathered} \bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i \\ \bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i \end{gathered}$$
样本方差(Sample variance)	$$\begin{gathered} S_x^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2 \\ {S}_y^2=\frac{1}{n}\sum _{i=1}^n(y_i-\bar{y}{)}^2 \end{gathered}$$
样本标准差(Standard deviation)	$$\begin{gathered} S_x=\sqrt{\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2} \\ {S}_y=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-\bar{y}{)}^2} \end{gathered}$$
样本协方差(Sample covariance)	$$S_{xy}=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$
样本相关系数(Sample correlation coefficient)	$${\rho }_{xy}=\frac{S_{xy}}{S_x{S}_y}=\frac{\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x})\cdot \frac{1}{n}{\sum }_{i=1}^n(y_i-\bar{y})}$$

现在我们开始计算β0和β1，因为RSS计算的是真实值和预测值之间的差的平方，所以理论上，RSS越小则模型越准。而RSS是一个关于β0和β1的二元二次方程，并且二次参数的系数为正数，所以理论上，偏导为0的点就是最小值点，那么开始暴力求导吧！
$$\begin{gathered} 0=\frac{\partial RSS(\beta {}_0,\beta {}_1)}{\partial \beta {}_0}=\frac{d}{d\beta {}_0}\sum _{i=1}^n(y_i-\beta {}_0-\beta {}_1{x}_i{)}^2 \\ =-2\sum _{i=1}^n(y_i-\beta {}_0-\beta {}_1{x}_i)\text{\hspace{1em}(1)} \end{gathered}$$
$$\begin{gathered} 0=\frac{\partial RSS(\beta {}_0,\beta {}_1)}{\partial \beta {}_1}=\frac{d}{d\beta {}_1}\sum _{i=1}^n(y_i-\beta {}_0-\beta {}_1{x}_i{)}^2 \\ =-2\sum _{i=1}^n(y_i-\beta {}_0-\beta {}_1{x}_i)x_i\text{\hspace{1em}(2)} \end{gathered}$$
结合上表公式可从(1)$$\begin{gathered} ⟹0=\bar{y}-\beta {}_0-\beta {}_1\bar{x} \\ ⟹\beta {}_0=\bar{y}-\beta {}_1\bar{x}\text{\hspace{1em}(3)} \end{gathered}$$
推导(2)可得$$0=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\bar{x}\beta {}_0-y_i-\beta {}_1\frac{1}{n}\sum _{i=1}^n{x}_i^2\text{\hspace{1em}(4)}$$
将(3)代入(4)中
$$\begin{gathered} 0=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\bar{x}\bar{y}-\beta {}_1(\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{x}}^2) \\ ⟹\beta {}_1=\frac{S_{xy}}{S_x^2}\text{\hspace{1em}(5)} \end{gathered}$$
通过(3),(5)我们就可以得到β0，β1的最佳值。
其中
$$\begin{gathered} S_{xy}=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\bar{x}\bar{y} \\ {S}_x^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{x}}^2 \end{gathered}$$

模型评估(Model evaluation)

将得到的β0，β1代入RSS方程可得
$$RSS(\beta {}_0,\beta {}_1)=n(1-{\rho }_{xy}^2)S_y^2$$
通常我们计算R2来评估模型的好坏
$$R^2=1-\frac{RSS/n}{S_y^2}={\rho }_{xy}^2$$
如果
R2=1，则这个模型很好，
R2=0，则表示这个模型的准确率和随机模型差不多
R2<0，则该模型还不如扔色子来的准

至此一个简单的线性回归模型，从训练的评估的全过程就结束啦！