王瑞学习笔记

jieba中文处理1.基本分词函数的用法jieba.cut接收分词的三种输入参数： 1）需要分词的字符串 2）cut_all参数用来控制是否采用全模式，即从前往后切分，所有在词典中出现的词都会被切分出来； 精确模式：按最合理的方式进行切分； 3）HMM参数用来控制是否使用HMM模型 jieba.cut_for_search 1）需要分词的字符串 2）是否使用HM...

TF-IDF（term frequency–inverse document frequency）关键词提取算法：在信息提取的应用场景之中，对文本中的重要词进行分析，将原文本进行停用词处理； TF-IDF 该算法用一种统计学的方法来衡量一个词语在文本中的重要程度，常被用于信息提取，文本挖掘中，该算法的核心是计算一个文本中某个词语的tf值和idf值。1.TF词频（term frequenc...