LDA学习笔记1-参数估计

这几天学习在LDA，终于把其原理搞清楚了，记录一下要点

1. 参数估计和预测

对于一个已知模型，贝叶斯推理的两个大问题，

1.参数估计，主要方法有极大似然估计（MLE,Maximum likelihood estimation）和极大后验概率（MAP,Maximum a posteriori estimation）,也可以直接求解P(/theta | X),其中X为已知数据集

2.预测方法, 即对于一个未知的特征向量x，求p(x|X)(假设样本之间满足iid条件，)

1.1极大似然估计

极大似然估计，定义了似然函数,直接对似然函数求解其最大值（求导，梯度法等）

当预测时，用估计值（单点）替代真实值（积分）

1.2 极大后验概率

这个方法和MLE很类似，不同之处在于引入了一个先验概率p（/theta）