十一、主题模型

跟特征提取有关，隐式特征提取（EM算法），比如给定文档或者词，推断隐的主题是什么。CNN出现后，在图像方面的应用减少。


我们做词向量分类通常将所有词取出来，形成一个词向量（不重复），然后在每个词对应的位置，出现的位置标为1，没出现的位置标为0。这样每个文档的长度都是相等的。通过LR，SVM，RF，NB等方法可以进行分类。
但是这种方式未必总是合适的，比如出现“花”这个词，可能出现花朵或者花费，出现两个意思，它会直接映射到词向量中。因此我们应该通过词，看一下词背后的主题是什么，这就是主题模型的直观理解。





一、LDA








二项分布->多项分布。Beta分布->Dirichlet分布。p1+…+pk=1


我们做Dirichlet往往做成对称的，即a相同。



一篇文档往往经过LDA，部分词为主题词是正常的，因此a常取小于1。
如果取值越大，使得采样值倾向于取相等的值。







公式不重要，主要看结论。
给定非i点的主题和相邻的词，求当前词的主题。
结论：左边为：（除了i号词以外，词本身属于k主题的个数）除以（除了i号词以外，词出现的次数）；右边为m文档中除了i号词中该主题出现的次数。
即任何一个词属于某个主题的性质除了跟词的性质有关，还与文档的性质有关。