【漫谈机器学习】1.误差最小VS概率最大（2）

极大似然估计

概率最大的角度考虑问题就是极大似然估计了，基本思想是：$\max P\left( {{y_i}\left| {{x_i},\theta } \right.} \right)$,这里可以理解为：如果假设 $y$ 服从某一分布，那么就求使得已知样本 $\left( {{x_i},{y_i}} \right)$中的$y_i$最大概率服从该分布的$\hat \theta$.
如果考虑到建模误差，那么${y_i} = {\theta ^T}{x_i} + {\varepsilon _i},{\varepsilon _i} \in R$,通常情况下，如果假设${\varepsilon _i}服从N\left( {0,\sigma _i^2} \right),\sigma _i^2 = \sigma _{}^2,i = 1,2, \cdots m$，那么可以得到：${y_i}服从N\left( {{\theta ^T}{x_i},\sigma _{}^2} \right)$，那么 $y$ 的概率密度函数为：

$\rho \left( y \right) = \frac{1}{{\sqrt {2\pi \sigma _{}^2} }}\exp \left( { - \frac{{{{\left( {y - {\theta ^T}x} \right)}^2}}}{{2\sigma _{}^2}}} \right)$

问题就转换成求概率最大：

$\hat \theta = \arg \mathop {\max }\limits_\theta P\left( {{y_i}\left| {{x_i},\theta } \right.} \right)$

利用极大似然估计来求解，定义似然函数为：

$L\left( {\theta ,{\sigma ^2}} \right) = \prod\limits_{i = 1}^m {\rho \left( {{y_i}\left| {{x_i},\theta ,{\sigma ^2}} \right.} \right)}$
下面是求解,取对数：
$\ln L\left( {\theta ,{\sigma ^2}} \right) = - \frac{n}{2}\ln \left( {2\pi } \right) - \frac{n}{2}\ln {\sigma ^2} - \frac{1}{{2{\sigma ^2}}}\sum\limits_{i = 1}^m {{{\left( {{y_i} - {\theta ^T}{x_i}} \right)}^2}}$
令
$\frac{{\partial \ln L\left( {\theta ,{\sigma ^2}} \right)}}{{\partial \theta }} = - \frac{1}{{{\sigma ^2}}}\frac{\partial }{{\partial \theta }}\frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y_i} - {\theta ^T}{x_i}} \right)}^2}} = 0$
$\frac{{\partial \ln L\left( {\theta ,{\sigma ^2}} \right)}}{{\partial {\sigma ^2}}} = - \frac{n}{{2{\sigma ^2}}} + \frac{1}{{2{{\left( {{\sigma ^2}} \right)}^2}}}\sum\limits_{i = 1}^m {{{\left( {{y_i} - {\theta ^T}{x_i}} \right)}^2}} = 0$

可以看出中上面的式子其实就是上一节中的求解式子。可以看出极大似然估计的妙处了，一个是误差值最小，一个概率值最大。最小二乘数学建模等价于高斯噪声最大似然估计统计建模.