机器学习01：单变量线性回归及python实现

Regression 回归分析

线性回归

单变量线性回归

单变量的意思是只有一个自变量。

比如，我们想要根据明天的最高温度预测明天某城市的峰值用电量。我们不可能平白无故地预测明天的数据，而是需要根据以往的数据来预测以后的数据。因此，我们需要收集以往的数据，如下表：

最高温度（℉）	峰值用电量
76.7	1.87
72.7	1.92
71.5	1.96
86.0	2.43
90.0	4.69
87.7	2.50
…	…

散点图：

对于单变量线性回归，可表示为如下模型：
$$当天峰值用电量={\theta }_0+{\theta }_1\cdot (当天最高温度)$$
如果我们把这个模型函数放在上面的散点图中（三条直线的参数值不同）：

很显然，根据明天的最高温度预测明天的峰值用电量的问题，就转化成了在上面的图中找一条最吻合训练数据的直线，“最吻合”也就等价于选择合适的 ${\theta }_0$和${\theta }_1$.

那么，我们应该怎么衡量“最吻合”呢？这就需要用到Loss Function（损失函数）了。

损失函数

$$L(f(x)-y)=\sum _{i=1}^n(f(x_i)-y_i{)}^2=\sum _{i=1}^n(({\theta }_{1}x+{\theta }_0)-y_i{)}^2$$

对于损失函数，我们需要注意以下两点：

• 损失函数值越小，越吻合（预测值与实际值差别越小）
• 损失函数值是非负的

因此这个问题就转换成了一个优化问题：
$$minJ({\theta }_0,{\theta }_1)=min(\frac{1}{2m}\sum _{i=1}^n(({\theta }_{1}x+{\theta }_0)-y_i{)}^2)(m为样本个数)$$
解决上面的优化问题主要用梯度下降法。

梯度下降法

上面说到：“最吻合”也就等价于选择合适的 ${\theta }_0$和θ1\theta_1θ