【机器学习】似然函数

似然和概率

似然和概率都可以理解为“可能性”，但是它们针对的对象不一样，似然函数是关于Θ的函数，概率密度函数是关于x的函数。比如似然函数定义为：L(Θ|x)，而概率密度函数定义为f(x|Θ)。

假设X的概率密度函数可以定义为：

其中X是离散的随机向量X(x1,x2,…)，表示参数Θ下随机向量X取到x的可能性。
假设：

那么我们可以认为“参数Θ1下随机变量X取值x的可能性”大于“参数Θ2下随机向量X取到值x的可能性”。简单点来说，我们有理由相信Θ1比Θ2更有可能是真实值。

如果X是连续的随机向量，那么概率密度函数f(x|Θ)在x处的概率为0，则概率函数可以定义为：

将约等号右边的等式的2ε约掉就可以发现这跟离散的情况下一致。但是此时似然所表达的，和“概率”无关。
概率密度表达了给定Θ下样本随机变量X=x的可能性，而似然表达了给定样本X=x下参数Θ1（相对于其他可能Θk）为真实值的可能性。

极大似然估计

极大似然估计解决的问题

假设现在样本有很多，并且定义这些样本的数据分布是P(x)。给定一个由参数Θ定义的数据分布P(x|Θ)，希望能求得参数Θ使得P(x|Θ)尽可能接近原始的数据分布P(x)。