duguwanglong的博客

一、基本定义及公式TF-IDF用来评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率反比下降。如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现（即代表它有明显的区分度），则认为此词或者短语具有很好的类别区分能力，适合分类 一些基础概念：文章画像是描述每篇文章以给定一些词。主要是由主题词与关键词组成，两者最大的区别就是主题词经过了规范化处理。 关键词：文章中一些词权重...