python实现TF-IDF算法

关于TF-IDF算法的具体公式可以参考我前面的博文，然后我在这里对TF-IDF算法做一个总结，代码中num_text就是整个语料库的大小，在我的示例中，它包含2个句子。有些单词在一个句子中出现频率很高，说明该单词具有专业性，而类似the，is，as这样的词汇在每个句子中基本都会出现，它的实际意义就很小，所以，TF-IDF算法就是为了降低这些无意义词的权重。
示例中的第一个句子我用分别写了3个dog和3个is，第二个句子里只有is没有dog，最后的结果可以发现dog的权重大于is的权重，说明dog在第一个句子里专业性很强，证明了TF-IDF算法的有效性。
TF-IDF算法在搜索引擎中的用处是确定一个网页和某个查询的相关性。

def TFIDF(num_text, text_list, vocab):
    """
    :param num_text: 句子的个数
    :param text_list: 句子列表
    :param vocab: 词典列表
    """
    TF = np.zeros((num_text, len(vocab)))
    for t in range(num_text):
        for w in text_list[t]:
            if w in vocab:
                TF