极大似然估计和EM算法学习笔记

极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。具体地，记关于类别$c$的类条件概率为$P(x|c)$，假设$P(x|c)$具有确定的形式并且被参数向量${\theta }_c$唯一确定，则我们的任务就是利用训练集$D$估计参数${\theta }_c$。为明确起见，我们将$P(x|c)$记为$P(x|{\theta }_c)$。

令$D_c$表示训练集$D$中第$c$类样本组成的集合，假设这些样本是独立同分布的，则参数${\theta }_c$对于数据集$D_c$的似然是

$$P(D_c|{\theta }_c)=\prod _{x\in D_c}P(x|{\theta }_c).\text{\hspace{1em}(1)}$$

对${\theta }_c$进行极大似然估计，就是去寻找能最大化似然$P(D_c|{\theta }_c)$的参数值${\hat{\theta }}_c$。直观上看，极大似然估计是试图在${\theta }_c$所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。

式(1)中的连乘操作易造成下溢，通常使用对数似然(log-likelihood)

$$\begin{array}{rl}LL({\theta }_c)& =\log P(D_c|{\theta }_c)\\ & =\log \prod _{x\in D_c}P(x|{\theta }_c)\\ & =\sum _{x\in D_c}\log P(x|{\theta }_c),\end{array}\text{\hspace{1em}(2)}$$

式子(2)中取对数的时候直接写的是$\log$，并没有明确地指明这个对数的底数是多少；实际上，只要保证对数是单调递增的就可以了。所以$\log$的底数取$2$或者$10$或者$e$都是可以的，通常是取自然常数$e$为底数。则对数似然可化为：

$$LL({\theta }_c)=\sum _{x\in D_c}\ln P(x|{\theta }_c),\text{\hspace{1em}(3)}$$

此时参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为

$${\hat{\theta }}_c=\underset{{\theta }_c}{\mathrm{argmax}}LL({\theta }_c).\text{\hspace{1em}(4)}$$

例如，在连续属性情形下，假设概率密度函数$p(x|c)\sim \mathcal{N}({\mu }_c,{\sigma }_c^2)$，则参数${\mu }_c$和${\sigma }_c^2$的极大似然估计为

$${\hat{\mu }}_c=\frac{1}{|D_c|}\sum _{x\in D_c}x,$$

$${\hat{\sigma }}_c^2=\frac{1}{|D_c|}x\in$$