线性回归最小二乘法和最大似然估计

概念

简单的说，线性回归代表基于某些特征 X （自变量）和预测变量 y（因变量）的线性关系。
公式如下：
   $y^{(i)}=w_0{x}_0^{(i)}+w_1{x}_1^{(i)}+w_2{x}_2^{(i)}+\dots +w_n{x}_n^{(i)}$ ； 其中 $x_0^{(i)}=1$ (公式1_1)
即：
   $h_w(x^{(i)})=y^{(i)}=\sum _{j=1}^n{w}_j{x}_j^{(i)}$；(公式1_2)
其中 w 代表每一个特征的权重，
$x^{(i)}$代表每一个特征的值。
$i$ 代表每一个样本

也可以用矩阵的方式表达:
   $h_W(X)=y=X\bullet W^T$ ； (公式2)
其中 X 代表 m 个样本，每个样本包含 n 个特征值，即 m × n 的矩阵
W 代表 n 个特征值的权重，即 1 × n 的行向量
W.T 为 W 的转置，为 n × 1 的列向量
y 代表预测值，为 m × 1 的列向量

线性回归是一种监督学习，即已知特征 X 和 标记 y 。由公式2可知，未知的是权重 W
即线性回归模型实际上是求解每个特征 X 的权重 W

求解

求解线性回归主要有两种方法：最小二乘法和最大似然估计。下面我们具体来看下。

最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法以估计值与观测值的平方和作为损失函数J(W) 。
有如下公式：
   $J(W)=\sum _{i=1}^m(y^{(i)}-y_p^{(i)}{)}^2$ ； (公式3)
其中 y^{(i)} 是样本标记，为实际值
$y_p^{(i)},$ 为模型预测值

由公式1_2和公式3可得：
   $J(w)=\sum _{i=1}^m(y^{(i)}-h_w(x^{(i)}))$