从最大似然估计看线性回归

线性回归

我们从用给定的数据集(x,y)，学习了一组参数θ ，$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$，假设ϵi服从期望为0的正态分布ϵi~N(0，σ^2);
度量线性回归模型性能用均方误差MSE ,代价函数为：$$J(\theta )=1/(2\ast m)\sum _{i=1}^m(y^{(i{)}^{\prime }}-y^i{)}^2$$

最小化代价函数得到最终的参数

最大似然估计

已知$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$ 那么$${ϵ}^{(i)}=y^{(i)}-{\theta }^T{x}^{(i)}$$
似然函数$$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)},\theta )=\prod _{i=1}^{m}P({ϵ}^{(i)}=y^{(i)}-{\theta }^T{x}^{(i)})=\prod _{i=1}^{m}f({ϵ}^{(i)})$$
因为ε是连续型随机变量，用f标准正态概率密度代入$$L(\theta )=\prod _{i=1}^m\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}}$$
最大化似然函数，取对数$$\ln L(\theta )=\ln \prod _{i=1}^m\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}}=\ln \frac{1}{\sigma \sqrt{2\pi }}-\sum _{i=1}^m\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}$$
因此要最小化$$\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$ 和线性回归最小化的目标相同，殊途同归，可以将线性回归看成最大似然估计的特例？