TF-IDF代码实现案例

目录

一、 TF-IDF算法简介

二、代码示例

---

---

一、 TF-IDF算法简介

TF-IDF(term frequency–inverse document frequency，词频-逆向文件频率)算法是一种用于信息检索与文本数据挖掘的常用加权技术。它用统计学方法评估一个词对某篇文章的重要程度，常用来提取文章的关键词，算法简单高效，因此常用于信息检索的粗排阶段。

TF-IDF算法的核心思想是通过统计的方法，评估一个词对一个文件集或者语料库的重要程度。一个词的重要程度跟它在文章中出现的次数成正比，跟它在语料库出现的次数成反比。这种计算方式能有效避免常用词对关键词的影响，提高了关键词与文章之间的相关性。
 

二、代码示例

所需文件下载：（点击此处）

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

date = open(r'task2_1.txt','r')   #读取文件
lines = date.readlines()   #读取文件所有行，并将他们存储在名为‘lines’的列表中

vectorizer = TfidfVector