Machine learning--线性回归

线性回归

定义：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。白话版：当曲线为一条直线是，就是线性回归，线性是指特征和结果都是线性的，即x不大于1次方。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

假设函数

定义：把我们训练集里面的数据，放入我们的函数里面，使函数的输出结果，和我们的预期的结果的差值比较少，而这个函数就是我们的假设函数
公式： $$h_{\theta }(x)=\theta +{\theta }_{1}x$$
注意：因为只含有一个特征/输入变量，因此这样的问题叫做单变量线性回归方程

代价函数

模型所预测的值与训练集中实际值之间的差距，就是建模误差
我们的目标是选择出可以使的建模误差的平方和能够最小的模型参数，就叫代价函数，代价函数也被称作平方误差函数，有时也被称为平方误差代价函数
公式：$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

梯度下降

定义：梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数$J({\theta }_0,{\theta }_1)$ 的最小值。
公式：
$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}{\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2$

$j=0$ 时：$\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)$

$j=1$ 时：$\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m\left(\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\cdot x^{(i)}\right)$

则算法改写成：

Repeat {

​ ${\theta }_0:={\theta }_0-a\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)$

​ ${\theta }_1:={\theta }_1-a\frac{1}{m}\sum _{i=1}^m\left(\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\cdot x^{(i)}\right)$

​ }