文章标题

为什么最小二乘法对误差的估计要用平方？

转http://www.fuzihao.org/blog/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5%AF%B9%E8%AF%AF%E5%B7%AE%E7%9A%84%E4%BC%B0%E8%AE%A1%E8%A6%81%E7%94%A8%E5%B9%B3%E6%96%B9/

今天看了Stanford Andrew Ng讲的《机器学习》，明白了为什么最小二乘法对误差的估计要用平方，而不是绝对值或是四次方。
　　简单地说，之所以要用这种规定，是因为，取二次方的时候，对参数的估计是当前样本下的最大似然估计。下面给出证明。
　　记样本为(x(i),y(i))，对样本的预测为y^(i)|θ该记法表示该预测依赖于参数θ的选取。我们有：
　　
y=y^|θ+ϵ

　　其中，ϵ是一个误差函数，我们通常认为其服从正态分布即
ϵ∼N(0,σ2)
因此有
y−y^|θy∼N(0,σ2)∼N(y^|θ,σ2)
要求θ的极大似然估计，即是说，我们现在得到的这个真实存在的y在θ不同的取值下，出现概率最大，我们来看这个概率。令
L(θ)=P(y|x;θ)=∏i=1m12π−−√σexp(−(y(i)−y^(i)|θ)22σ)
为了简化计算，令
l(θ)=logL(θ)=mlog12π−−√+∑i=0m−(y(i)−y^(i)|θ)22σ

要让L(θ)最大，即需让l(θ)最大，即让∑mi=0(y(i)−y^(i)|θ)2取到最小值。
　　综上，当误差函数定为平方时，参数θ是样本的极大似然估计。