本文介绍了如何使用LDA主题模型来提升文档相似性判断的准确性，特别是针对那些表面词汇不同但实际语义相关的文档。通过引入主题模型的概念，能够更好地理解文档背后的意义。
传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。
举个例子，有两个句子分别如下：
“乔布斯离我们而去了。”
“苹果价格会不会降？”
可以看到上面这两个句子没有共同出现的单词，但这两个句子是相似的，如果按传统的方法判断这两个句子肯定不相似，所以在判断文档相关性的时候需要考虑到文档的语义，而语义挖掘的利器是主题模型，LDA就是其中一种比较有效的模型。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。
对LDA模型比较清晰的解释：
http://blog.sina.com.cn/s/blog_8eee7fb60101czhx.html
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
