机器学习（六）EM算法

EM算法

凸函数

如果f可微，
一阶导

二阶导半正定

Jensen 不等式

推导，归纳法
当N=1时，显然成立
N=2时，由凸函数定义,$f({\lambda }_1{x}_1+{\lambda }_2{x}_2)\le {\lambda }_{1}f(x_1)+{\lambda }_{2}f(x_2)$
当N >= 3时，假设当N=k-1时成立
$$f(\sum _{i=1}^{k-1}{\lambda }_i{x}_i)\le \sum _{i=1}^{k-1}{\lambda }_{i}f(x_i)$$

当N = k时，

从Jensen不等式中推导概率

如果$在S上，p(x)\geq 0，且S\ dom f $

那么假设X是随机变量，P是样本空间S中概率分布，那么

如果X是常量，那么上式中的等号就成立。

假设 f 是凸函数

那转换成概率形式

EM算法 Expactation-Maximization

给定一个训练集{x(1),x(2),x(3),...,x(m)}\{x^{(1)}, x^{(2)},x^{(3)},...,x^{(m)}\}{x(1),x(2),x(3),...,x(m)}（这个训练集是没有lables的）