【机器学习】文本数据的向量化(TF-IDF)---样本集实例讲解+python实现

CV_ML_DP

于 2018-03-15 23:32:50 发布

阅读量1.4w

点赞数 14

CC 4.0 BY-SA版权

分类专栏：人工智能机器学习跟我一起学机器学习 Machine Learning

本文链接：https://blog.youkuaiyun.com/u012421852/article/details/79575740

本文介绍了文本数据的向量化，特别是TF-IDF方法。通过名词解释，阐述了CF、DF、IDF和TF的概念，并提供了一个包含4个文本样本的示例集。接着，说明了如何计算TF-IDF，指出其相对简单，适合人肉实现，并给出了运行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.文本数据的向量化

CF：文档集的频率，是指词在文档集中出现的次数

DF：文档频率，是指出现词的文档数

IDF：逆文档频率，idf = log(N/(1+df))，N为所有文档的数目，为了兼容df=0情况，将分母弄成1+df。

TF：词在文档中的频率

TF-IDF：TF-IDF= TF*IDF

为了讲解文本数据的向量化，假设我们有4个文本，所有文本一共有6个不同的词，如下所示。

200万优质内容无限畅学