SophieZhou的专栏

<br />lda ppt中， Hsuan-Sheng Chiu的PPT，讲解的mean field最清晰了。<br />明天看mean field算法和概率图模型。<br />修改程序，写下一篇英文文章。

<br />上半年总结的，从另外一个博客粘贴过来。<br /> <br />LDA克服了PLSA的缺点，LDA为每一个文档的topics的分布给了一个dirichlet distribution的prior。而PLSA没有。有人算过了，PLSA其实和LDA中取uniform dirichlet distribution的MAP/ML估计是一样的。从图上来说的话，产生式过程中，LDA在文档这一级别的外层多了一个参数a，用来生成不同文档中topics的分布。而PLSA，要么分开为每个文档单独分配topics的分

最近因为想写几个简单的分类器，其实原来也没写过什么分类器，尤其是supervised. 最近在看Bayes classifier，是去产检时等叫号时看的，看过之后我明白了，之前有位指导我们的同事说的，说lda, plsa其实就是bayes分类器。 bayes classifier是一种generative model，按照feature集合生成文本。尤其是multinomial nai

之前，在做hdp时，测试过concentration parameter的影响，感觉对采样收敛速度影响比较大。但是，那个时候没有对内部的聚类结果进行分析，只是整体看了一下结果。 这几天，测试lda，调整这个concentration parameter时，发现这个参数不仅影响到收敛速度，还影响聚类效果。当将concentration parameter设置到很小时，聚类会收敛到少数几个t