William_Dong的专栏

1. Logistic regression模型我们先看下logistic regression模型及损失函数。有m个样本，，。Logistic regression采用的sigmoid函数是损失函数为：2. Softmax回归模型Softmax回归用于多类分类，假设有k个分类，则其中1/ 是为了归一化。3. 损失函数Logistic regression...

import java.io.*;import opennlp.tools.sentdetect.SentenceDetectorME;import opennlp.tools.sentdetect.SentenceModel;import opennlp.tools.tokenize.Tokenizer;import opennlp.tools.tokenize.TokenizerME

package dong.aid;import java.util.List;import java.util.Properties;import edu.stanford.nlp.dcoref.CorefCoreAnnotations.CorefChainAnnotation;import edu.stanford.nlp.ling.CoreAnnotations.LemmaAnno

JgibbLDA输出以下几个文件：.others文件存储LDA模型参数，如alpha、beta等。.phi文件存储topic-word分布，每一个元素是p(word|topic),每一行是一个主题，列内容为词语(应该是设定的top多少的词)。.theta文件存储document-topic分布，每一个元素是p(topic|document),每一行是一个文档，列内容是主题概率。

LDA程序使用的是JgibbLDA，根据其输出的结果，一师兄给了如下的计算perplexity函数/** * @param tw_list是topic word矩阵(.phi文件)的每一行 * @param dt_list是document topic 矩阵（.theta）的每一行 * @param as_list是 .tassign文件的每一行 * */ public do

RAKE， 即Automatic keyword extraction。来自于M. W. Berry and J. Kogan (Eds.), Text Mining: Applications and Theory.unknown: John Wiley and Sons, Ltd.一书的第一章https://www.airpair.com/nlp/keyword-extraction-tuto...