TF-IDF

##1、$第j篇文档中第i个词语的t{f}_{ij}计算公式为：$

$$t{f}_{ij}=\frac{n_{ij}}{{\sum }_k{n}_{kj}}$$

• $n_{ij}是指词t_i在d_j文档中出现的次数，分母表示文档d_j中所有词出现之和。$

##2、$idf的计算公式为：$

idfi=log∣D∣∣{j:ti∈dj}∣+1idf_{i}=log\frac{|D|}{|\{j:t_{i}\in d_{j}\}|+1}idfi​=log∣{j:ti​∈dj​}∣+1∣D∣​

• $|D|语料库中文件总数$

• ∣{j:ti∈dj}∣是包含词语ti的文件数目，如果该词语不在该预料库中除数就为0，因此+1防止除数为0。|\{j:t_{i}\in d_{j}\}|是包含词语t_{i}的文件数目，如果该词语不在该预料库中除数就为0，因此+1防止除数为0。∣{j:ti​∈dj​}∣是包含词语ti​的文件数目，如果该词语不在该预料库中除数就为0，因此+1防止除数为0。
  ##3、$最终计第j篇文档中第i个词语的tfid{f}_{ij}计算公式为：$
  $$tfid{f}_{ij}=t{f}_{if}\times id{f}_i$$

• 某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语

注：$i代表词的编号，j代表文档的编号$