liaoqiangdan9345的博客

原创 LDA模型困惑度计算出现的问题

LDA程序使用的是JGibbLDA 读theta文件，构造theta二维矩阵。 读phi文件，构造phi二维矩阵。 读tassign文件，得到每篇文本的词数Nd，继而得到测试集的总词数Nsum；并根据tassign文件构造每篇文本所有词组成的词表。 编程实现，根据tassign文件构造测试集每篇文本中所有词组成的词表，根据该词表（Map形式，存储的是每篇文本所有出现的词的词id（词不排重）），得到...