经典TF-IDF

转载于 2009-08-16 16:34:00 发布 · 485 阅读

·

0

·

本文介绍了TF-IDF算法的基本概念，包括詞頻（TF）和逆向文件頻率（IDF）的計算方法，以及如何利用這些度量來确定文件中詞語的重要性。TF-IDF算法能夠有效过滤掉常见詞語，突出文件中真正關鍵的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一份給定的文件裡，詞頻（term frequency，TF）指的是某一個給定的詞語在該文件中出現的次數。這個數字通常會被正規化，以防止它偏向長的文件。（同一個詞語在長文件裡可能會比短文件有更高的詞頻，而不管該詞語重要與否。）對於在某一特定文件裡的詞語 $t i$ 來說，它的重要性可表示為：

$/mathrm{tf_{i,j}} = /frac{n_{i,j}}{/sum_k n_{k,j}}$

以上式子中 $n i, j$ 是該詞在文件 $d j$ 中的出現次數，而分母則是在文件 $d j$ 中所有字詞的出現次數之和。

逆向文件頻率（inverse document frequency，IDF）是一個詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數目除以包含該詞語之文件的數目，再將得到的商取對數得到：

$/mathrm{idf_i} = /log /frac{|D|}{|/{d: d /ni t_{i}/}|}$

其中

|D|：語料庫中的文件總數
$|/{d :d/ni t_{i}/}|$ ：包含詞語 $t i$ 的文件數目（即 $n_{i} /neq 0$ 的文件數目）

然後

$/mathrm{tf{}idf_{i,j}} = /mathrm{tf_{i,j}} /cdot /mathrm{idf_{i}}$

某一特定文件內的高詞語頻率，以及該詞語在整個文件集合中的低文件頻率，可以產生出高權重的TF-IDF。因此，TF-IDF傾向於過濾掉常見的詞語，保留重要的詞語。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。