最大似然估计方法

起因：我发现LR在知道样本概率分布后，要估计w的值，用到了极大似然估计方法，得到了所谓的损失函数。

所以想了解下 极大似然估计的原理。

最大似然估计方法，是基于总体分布已知情况下的一种参数估计方法。

其基于极大似然估计原理：概率大的事件易发生；在一次观测中发生了的事件，其概率应该大。

例子：你和猎人都去打猎，枪响了，兔子倒下了，你觉得这个兔子是被谁打死的？

你会觉得是猎人，因为他更专业，打中的概率大，这里就是极大似然的思想。

对于离散变量，N个样本的联合概率为：

这里的L就是似然函数。

当我们知道了x1,...,xn，我们就可以选取合适的参数theta，使得L最大，就是样本发生的概率最大。这时的theta就是参数的极大似然估计值。因为它比任何其他theta都要好。

这就变成了最优化问题。我们做个简单变化，两边取对数：

参考：

http://wenku.baidu.com/link?url=5qDJNo8BI2dMKehvey0p7UPKiNoOB_mdZSjDHrUgC-IrX-AB4ReP8emK3joGVRyAHcZ6KmYWKKkgg0_8ERGpEl22xtwK5gbR65qTsRibeg_