ustbbsy的博客

1，TF-IDF引用百度百科的解释： TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF（Term Frequency）词频：该文章中出现该词的次数除以文章总词数。 IDF（Inverse Document Frequency）逆向文...

jieba是中文分词的一个模块，官方文档 jieba官方文档1，分词jieba分词常用的函数：jieba.cut()jieba.lcut()jieba.cut_for_search()jieba.lcut_for_search()jieba.Tokenizer(dictionary=DEFAULT_DICT)jieba.cut(sentence, cut_all=False, HMM=Tr...

1，Word2Vector参数解释Word2Vector是gensim封装好的模块，gensim是generate similarity的缩写。本文默认有词向量的基础。参数：from gensim.models import Word2Vec#下面的参数均是默认值Word2Vec(sentences=None, #sentences可以是分词列表，也可以是大语料 size=...