如何计算idf

最新推荐文章于 2023-02-24 10:48:37 发布
原创 最新推荐文章于 2023-02-24 10:48:37 发布 · 5.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tf #idf #google

本文探讨了如何利用google收录的中文网页作为文档集来估算idf，并以一篇关于《中国的蜜蜂养殖》的文章为例，详细计算了相关词汇的tf-idf值，解释了idf在信息检索和推荐系统中的作用。

我们这道一个单词的idf的计算公式可以如下：

上面这个公式需要先要有一个语料库，如果此时你恰好没有这样的一个语料库，那你要怎么去估计这个idf呢？

现在假定在一篇《中国的蜜蜂养殖》文章当中，假定该文长度为1000个词，“中国”，“蜜蜂”，“养殖”各出现了20次，则这三个词的词频（TF）都为0.02.

为了计算这些词的idf，有一个很方便的方法，我们可以将google收录的中文网页当成一个文档集（corpus），那么如何估算这个文档集合的大小呢？ 我们知道在中文文档中，“的”几乎会出现在每一个文档中，所以我们可以通过google  “的” 所包含的网页数目近似认为是整个文档集的大小，发现总共有250亿张。

包含"中国"的网页共有62.3亿张，包含"蜜蜂"的网页为0.484亿张，包含"养殖"的网页为0.973亿张。则它们的逆文档频率（IDF）和TF-IDF如下：



参考资料：

TF-IDF与余弦相似性的应用（一）：自动提取关键词：http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

python idf_python计算idf
weixin_39892800的博客
12-22 1277
#-*- encoding:utf-8 -*-import jiebaimport jieba.analyseimport jsonimport codecsimport math'''计算得到idf文件求idf得步骤：1、对所有文档进行分词，去停用词，结果放入二维list，其中每个元素是set1、得到文档数目；生成所有词的set2、对每个词计算idf：idf = log(n / docs(w, ...
sklearn中TF-IDF值的计算方式
MirrorN的博客
09-09 6778
关于TF-IDF值，首先简单地提一下： TF（Term Frequency），也就是词频，这个定义很直观，也就是某个词语地频数除以整个文档的总词数： TF=某个词语出现次数文档总词语数 TF=\frac{某个词语出现次数}{文档总词语数} TF=文档总词语数某个词语出现次数​ 对于IDF（Inverse Document Frequency）也就是“逆文本频率”，这个值主要是用来限制单纯使用TF值...
计算 tf-idf值
08-17
文本分类中计算文档中每一个词的tf-idf的值
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6999
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
TF-IDF算法讲解
热门推荐
qq_45893319的博客
07-31 4万+
什么是 TF-IDF 算法？ TF（全称TermFrequency），中文含义词频，简单理解就是关键词出现在网页当中的频次。 IDF（全称InverseDocumentFrequency），中文含义逆文档频率，简单来说就是该关键词出现在所有文档里面的一种数据集合。 在信息检索中，tf-idf或TFIDF（术语频率 – 逆文档频率的缩写）是一种数字统计，旨在反映单词对集合或语料库中的文档的重要程度。 它经常被用作搜索信息检索，文本挖掘和用户建模的加权因子。tf-idf值按比例增加一个单词出现在文档中的次数，并
程序计算 IDF 曲线：强度-持续时间-频率计算-matlab开发
06-01
在本项目中，我们看到一个基于MATLAB开发的程序，其目的是计算IDF曲线，特别是利用Gumbel和Bernard方程。 MATLAB是一种强大的编程语言和交互式环境，特别适合数值计算、数据可视化和算法开发。在本案例中，MATLAB被...
计算机IDF转换器.pdf
10-01
根据文件的内容，我们可以看出，这份文档主要讨论了计算机IDF转换器以及Autodesk Inventor相关的技术信息。IDF（Intermediate Data Format）是一种电子设计自动化（EDA）业界通用的数据交换格式，通常用于PCB...
matlab开发-程序计算IDF曲线
08-27
它可能包含了读取降雨数据、处理数据、计算IDF参数以及调用其他辅助函数等步骤。MATLAB的文件读取通常使用`textscan`或`csvread`函数来处理文本格式的数据，例如`Rainfall_Data.txt`，这个文件很可能是存放降雨量和...
python 计算idf 自定义逆向文件频率IDF
kerry_55的博客
09-01 452
python3 jieba分词 代码如下： import jieba import jieba.analyse import math import pandas as pd import os #获取停用词 stopwords_path = 'data/stopword.txt' stopwords_list = [line.strip() for line in open(stopwords_path,'r',encoding='utf-8').readlines() ] #　获取数据 d
TF-IDF计算方法
一个今天胜过两个明天
08-19 1285
例1 有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,00...
TF-IDF算法
Criss@陈磊
11-07 1123
TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。TF-IDF有两层意思，一层是"词频"（Term Frequency，缩写为TF），另一层是"逆文档频率"（Inverse Document Frequency，缩写为IDF）。TF-IDF其实是两层意思，TF是统计高频词，但是可以剔除一些例如“的”，“是”等的词（这些词叫做停用词）。
sklearn计算idf值公式
qq_36283674的博客
02-14 568
if self.use_idf: n_samples, n_features = X.shape df = _document_frequency(X) df = df.astype(dtype, **`_astype_copy_false`(df)) # perform idf sm...
自定义CountVectorizer，计算idf
蒋志碧的博客
02-24 238
快速计算idf
TF-IDF的定义及计算
Haward
02-22 1万+
假设有语料库一共只要2篇文档：d1d_1d1​和d2d_2d2​，其中 d1=(A,B,C,D,A)d_1=(A,B,C,D,A)d1​=(A,B,C,D,A)一共有5个单词组成；d2=(B,E,A,B)d_2=(B,E,A,B)d2​=(B,E,A,B)，一共有4个单词组成。 1.TF TF即词频(Term Frequency)，每篇文档中关键词的频率（该文档单词/该文档单词总数），对于文档d1...
python：TF-IDF计算
weixin_37834134的博客
09-30 2470
在构建语料库的时候，把每篇文献的关键词抽取出来，接下来是要利用语料库计算文本特征，打算从TF-IDF和拓扑特征两个角度计算，再将二者合并在一起，计算文献之间的相似度。 目前拓扑特征还在无限当机中…TF-IDF的概念很熟悉网上也有很多现成的代码，之前查资料的时候看到已经有现成的包可以之间计算TF-IDF，但是我个人觉得用自己编写内部机理可能更加自如吧~ 重点计算的原理参考链接是https://blo...
TF-IDF的计算方法
Autter的博客
05-15 8217
使用sklearn提取文本tfidf特征 参考 或者： 语料库： corpus = [ 'this is the first document', 'this is the second second document', 'and the third one', 'is this the first document' ] from sklearn.f...
TF-IDF计算一
dawei1980的专栏
08-29 1474
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比
使用scikit-learn工具计算文本TF-IDF值
weixin_37831273的博客
11-08 444
http://blog.youkuaiyun.com/eastmount/article/details/50323063
TF-IDF计算
qq_41609475的博客
08-27 479
TF(t)=(t出现再文档中的次数)/文档中的term总数 IDF(t)=log(文档总数/（含有t的文档总数+1）) TF-IDF=TF*IDF 注意：词干提取和词性归一化处理（NLTK实现stemming 和lemma） ...
计算IDF，
最新发布
08-21
在自然语言处理（NLP）中，IDF（逆文档频率，Inverse Document Frequency）是TF-IDF模型中的关键组成部分之一，用于衡量一个词在整个文档集合中的普遍重要性。IDF 的基本思想是：如果一个词在很多文档中都出现，那么它对于区分文档内容的重要性就较低；反之，如果一个词只在少数文档中出现，则它可能具有较高的区分度。 ### IDF 的标准公式如下： $$ \text{IDF}(t) = \log \left( \frac{N}{1 + \text{df}(t)} \right) $$ 其中： - $ N $ 是文档总数； - $ \text{df}(t) $ 是包含词 $ t $ 的文档数量； - 加1是为了防止分母为0的情况。 ### 示例计算 假设有一个文档集合包含5个文档（$ N = 5 $），其中词“机器学习”出现在2个文档中（即 $ \text{df}(\text{“机器学习”}) = 2 $），则其IDF值为： $$ \text{IDF}(\text{“机器学习”}) = \log \left( \frac{5}{1 + 2} \right) = \log \left( \frac{5}{3} \right) \approx 0.5108 $$ 在实际实现中，IDF通常会对数结果进行平滑处理，例如使用： $$ \text{IDF}(t) = \log \left( \frac{N + 1}{1 + \text{df}(t)}} \right) $$ 这样可以进一步避免极端值对模型的影响。 ### Python 示例代码 以下是一个计算IDF的简单Python实现： ```python import math from collections import defaultdict def compute_idf(documents): N = len(documents) df = defaultdict(int) # 统计每个词出现的文档数 for doc in documents: unique_words = set(doc) for word in unique_words: df[word] += 1 idf = {} for word, freq in df.items(): idf[word] = math.log((N + 1) / (1 + freq)) # 平滑处理 return idf # 示例文档集合 documents = [ ["机器", "学习", "是", "人工智能", "的重要", "分支"], ["深度", "学习", "属于", "机器", "学习", "的", "一个", "子领域"], ["自然", "语言", "处理", "也", "广泛", "使用", "机器", "学习"], ["人工智能", "已经", "取得了", "很大", "进展"], ["机器", "学习", "方法", "在", "数据分析", "中", "广泛应用"] ] idf_values = compute_idf(documents) for word, value in idf_values.items(): print(f"{word}: {value:.4f}") ``` 该代码会输出每个词的IDF值，帮助构建TF-IDF特征向量。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值