TF-IDF提取行业关键词

1. TF-IDF简介

TF-IDF(Term Frequency/Inverse Document Frequency)是信息检索领域非常重要的搜索词重要性度量；用以衡量一个关键词\(w\)对于查询(Query，可看作文档)所能提供的信息。词频(Term Frequency, TF)表示关键词\(w\)在文档\(D_i\)中出现的频率：

\[TF_{w,D_i}= \frac {count(w)} {\left| D_i \right|} \]

其中，\(count(w)\)为关键词\(w\)的出现次数，\(\left| D_i \right|\)为文档\(D_i\)中所有词的数量。逆文档频率(Inverse Document Frequency, IDF)反映关键词的普遍程度——当一个词越普遍(即有大量文档包含这个词)时，其IDF值越低；反之，则IDF值越高。IDF定义如下：

\[IDF_w=\log \frac {N}{\sum_{i=1}^N I(w,D_i)} \]

其中，\(N\)为所有的文档总数，\(I(w,D_i)\)表示文档\(D_i\)是否包含关键词，若包含则为1，若不包含则为0。若词\(w\)在所有文档中均未出现，则IDF公式中的分母为0；因此需要对IDF做平滑(smooth)：

\[IDF_w=\log \frac {N}{1+\sum_{i=1}^N I(w,D_i)} \]

关键词\(w\