极大似然进行机器学习

• 前验概率和后验概率

前验概率：知道分布之后，估计概率值；后验概率：已知概率值（先验分布），反推原数据的分布情况，属于条件概率；

• 利用极大似然法进行机器学习

有监督学习---------->最大熵模型

 

 

 

无监督学习----------->GMM

• 信息  i（x）= -log（p(x)）

概率P是对确定性的度量，信息是对不确定性的度量；

  随着概率越来越大，信息越来越小；

独立事件的信息：

如果两个事件X和Y独立，即p(xy)=p(x)p(y) ，若假定X和y的信息量分别为i(x)和i(y)，则二者同时发生的信息量应该为i(x^y)=i(x)+i(y)。

熵：信息的期望 。是对平均不确定的度量

   

信息论与机器学习的关系