最大似然估计的原理
给定一个概率分布,假定其概率密度函数(连续分布)或概率聚集函数(离散分布)为
,以及一个分布参数
,我们可以从这个分布中抽出一个具有
个值的采样
,通过利用
,我们就能计算出其概率:
但是,我们可能不知道的值,尽管我们知道这些采样数据来自于分布
。那么我们如何才能估计出
呢?一个自然的想法是从这个分布中抽出一个具有
个值的采样
,然后用这些采样数据来估计
.
一旦我们获得,我们就能从中找到一个关于
的估计。最大似然估计会寻找关于
的最可能的值(即,在所有可能的
取值中,寻找一个值使这个采样的“可能性”最大化)。这种方法正好同一些其他的估计方法不同,如
的非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估的
值。
要在数学上实现最大似然估计法,我们首先要定义似然函数:
并且在的所有取值上,使这个函数最大化。这个使可能性最大的
值即被称为