似然（likelihood）、极大似然、对数似然、最大后验等

1 似然

设总体X服从分布P(x；θ)（当X是连续型随机变量时为概率密度，当X为离散型随机变量时为概率分布），θ为待估参数（或者说系统参数），X1,X2,…Xn是来自于总体X的样本，x1,x2…xn为样本X1,X2,…Xn的一个观察值，则样本的联合分布　L（θ）称为似然函数，离散变量形式如下所示：

2 极大似然（Maximum Likelihood）

所以，我们要取L最大值，使得x1,x2…xn观察值才最有可能发生。当似然函数取最大值时，意味着参数θ一定程度上非常贴合所给数据分布，也就是说，在参数θ下，模型预测的值和真实值相对来说比较接近，也就是损失函数较小。

3 对数似然（log likelihood）