统计中parameter estimation 的方法总结。Topic Model需要注意的

个人总结：统计中参数估计有四种方法

点估计

MLE

MAP

• 加入参数的prior 信息，可以避免overfitting，还可以加入extra knowledge。称为Occam’razor

Bayesian Inference

这种方法不像MLE,MAP将参数看成未知的常量，而是看成随机变量，求出其后验分布的具体形式$p(\theta|X)$，然后用$E(\theta|X)$作为估计值。

Topic Model 中的Gibbs Sampling

通常我们在topic model中的inference，全是这种思路。比方说 gibbs sampling, 如果是collapsed的话，不考虑$\phi$ 和$\theta$, 那么就是估计$z$了，（这里的$z$可以看成上面一段的$\theta$）.

所以可以用MLE, MAP和bayesian inference 来估计$z$, 由于MLE和MAP不能计算出一个只包括$z$的式子，所以我们要用 bayesian inference, 求$p(z|w)$, 但问题由来了，具体式子很难求，主要是因为分母，所以用gibbs sampling 来sample $p(z|w)$， 得到z的期望值。

总之 由于是collpased， 这里的objective 其实是 后验概率$p(z|w)$

Topic Model中的Variational Inference

对于原始的LDA paper，即没有$\beta$
这里的目标也是后验概率，只是没有collapsed掉，$p(\theta, z|w)$