本文介绍了TF-IDF算法的基本概念，包括词项频率（TF）和逆文档频率（IDF）的定义及其计算方法。TF-IDF是一种常用的文本挖掘技术，用于评估一个词对文档集合中某文档的重要程度。
TF指词项频率，IDF指逆文档频率，假定文档集中有N篇文档， 为词项i在文档j中出现的频率（即次数）
归一化通过 除以同一文档中出现最多的词项（可能不考虑停用词的频率）来计算。
假定词项i在文档集的 篇文档中出现，那么词项i的IDF定义为：
词项i在文档j中的得分就被定义为 ，具有最高得分的那些词项通常是刻画文档主题的最佳词项。
注：TF-iDF公式不唯一，可自由选择进行归一化，如TF公式的分母，可为同一文档中出现的总词频（去除停用词）；如IDF公式的对数公式的底数。
From Minging of Massive Datasets
相关热门文章
给主人留下些什么吧！~~
评论热议
扫一扫
2165
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
