机器学习算法——极大似然估计

极大似然估计：

1.若总体X为离散型，其概率分布列为

其中 为为未知参数。设 是取自总体的样本容量为n的样本，则 的联合分布律为 。又设 的一组观测值为 ，易知样本 取到观测值 的概率为

这一概率随 的取值而变化，它是 的函数，称 为样本的似然函数。
2.若总体X为连续型，其概率密度函数为 ，其中 为未知参数。设 是取自总体的样本容量为n的简单样本，则 的联合概率密度函数为 。又设 的一组观测值为 ，则随机点 落在点 的邻边（边长分别为 的n维立方体）内的概率近似地为 。
考虑函数

同样， 称为样本的似然函数。
极大似然估计法原理就是固定样本观测值 ，挑选参数 使

这样得到的 与样本值有关， 称为参数 的极大似然估计值，其相应的统计量 称为 的极大似然估计量。极大似然估计简记为MLE或 。
问题是如何把参数 的极大似然估计 求出。更多场合是利用 是 的增函数，故与 在同一点处达到最大值，于是对似然函数取对数，利用微分学知识转化为求解对数似然方程

解此方程并对解做进一步的判断。但由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点，就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况，所以可以直接按上述步骤求极大似然估计

极大似然估计就是经验风险最小化的例子。