TF-IDF与余弦相似度

最新推荐文章于 2024-07-16 17:29:04 发布
原创 最新推荐文章于 2024-07-16 17:29:04 发布 · 4k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#文本分析

在文本处理中，经常用到TF-IDF，其英文是Term Frequency - Inverse Document Frequency，词频-逆文档频率。
作用是提取文档的关键词，思路是文档的出现最多的词，乘以逆文档作为权重的结果。
然后按照数值进行排序，就能得到文档的关键词从高到低的顺序。
基于每篇的词频向量，计算余弦相似度，就等得到文件之间的相似度。
从而完成相似文章推荐，相似文章添加评论。

TF-IDF基本步骤：
1、统计词频，标准化处理（考虑文章字数长短不一）。
2、计算逆文档频率，需要参考语料库，词频越常见，逆文档频率越接近于0.
3、计算TF-IDF，排序。得到文档的关键词向量组合。

有了上述关键词向量组合，除了计算文章相似度，还可以用于信息检索。
在用户输入检索信息时，对每篇文档计算搜索值词的TF-IDF值（对每个检索词TF-IDF值相加），得到整个文档的TF-IDF，然后排序，取最大值TF-IDF即为最匹配搜索词的文档。

特点：TF-IDF计算词频，速度快，对于大多数情况效果都很好。缺点是没有考虑词出现的位置，没有词的权重，各个词的权重与位置信息无关。比如，可能一段的开头句中，词的重要性高，这是另外需要考虑的问题。

余弦相似度：
1、通过TF-IDF得到文档的词频向量。
2、通过余弦公司求相似度。
这里写图片描述

参考文章
1、http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
2、http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
3、http://www.ruanyifeng.com/blog/2015/07/monte-carlo-method.html（关于蒙特卡洛的入门介绍）

qq_23617681
关注
TF-IDF与余弦相似性的应用（三）：自动摘要
Atishoo_13的博客
01-20 444
TF-IDF与余弦相似性的应用（三）：自动摘要 有时候，很简单的数学方法，就可以完成很复杂的任务。 仅仅依靠统计词频，就能找出关键词和相似文章，这两部分就是很好的例子。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。 本文讨论如何通过词频，对文章进行自动摘要（Automatic summarization）。 1.分簇 如果能从3000字的文章，提炼出150字的摘要，就可以为读者节省大量...
sklearn tfidf求余弦相似度_相似性度量
weixin_39599166的博客
11-27 256
今天介绍相似性度量方法。明氏距离明氏距离不是一种距离，而是一组距离，它的定义式为当p=1时，就是曼哈顿距离，当p=2时，就是欧式距离，当p->无穷大时，就是切比雪夫距离。明氏距离有两个缺陷（1）将各个分量的量纲也就是单位，当作相同的看待。（2）没有考虑各个分量的分布（期望、方差等）可能是不同的。曼哈顿距离In [9]: vector1 Out[9]: array([1, 2, 3]) In ...
TF-IDF与余弦相似性的应用（二）：找出相似文章
wangqz1027的专栏
06-02 1213
作者： 阮一峰 日期： 2013年3月21日 上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。 为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来
TF-IDF及相关知识（余弦相似性）
昆兰.沃斯 的博客
09-15 3118
自然语言的处理是一个神奇的领域，它涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，由于复习相关知识，所以这里对该方向的部分知识做一个简单的介绍和记录。 该文主要记录的是一个很简单却很经典有效的算法——TF-IDF。从它的概念到运算可能花不了10分钟就能了解，并且用到的运算知识都不涉及高等数学，但往往能返回我们一个满意的答案。 当我们输入一段检索信息时，可以利用TF-IDF算法，给我们返...
TF-IDF算法和余弦相似度算法计算文本相似度（纯手撕）
热门推荐
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
09-06 1万+
一、TF-IDF算法   TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。   TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   TF-IDF的主要思想是：如果某个单词在一篇文章中
自然语言处理--基于tf-idf和余弦相似度构建关键词搜索引擎（处理三篇文档）
糯米君的博客
12-27 488
关键词搜索引擎：将搜索查询本身视为文档，从而获得它的基于 TF-IDF 的向量表示。然后找到与查询余弦相似度最高的向量的文档，并将这些文档作为搜索结果返回。 我们的语料库由3 篇文档组成，而查询是“How long does it take to get to the store?”，如下代码所示： from collections import OrderedDict import copy from collections import Counter from nltk.tokenize import
TF-IDF与余弦相似性的应用（二） 找出相似文章
09-20
TF-IDF（Term Frequency-Inverse Document Frequency）与余弦相似性是文本挖掘和信息检索领域常用的两种技术，常被用于找出文档之间的相似性。TF-IDF是一种衡量词语在文档中重要性的方法，它考虑了词语在文档内的...
TF-IDF与余弦相似性的应用
04-16
TF-IDF与余弦相似性的应用 TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的关键词提取算法，应用于自动关键词提取、信息检索等领域。该算法的优点是简单快速，结果比较符合实际情况。TF-IDF 算法...
[文本语义相似] 基于ngram-tf-idf的余弦距离
12-21
另一种实现方式是使用gensim库，它提供了一个更直接的方法来计算tf-idf和余弦相似度： ```python from gensim import corpora, models, similarities # 创建词典 dictionary = corpora.Dictionary([texts]) # ...
flask-movie-recommendation:使用Tf-Idf和余弦相似度的电影推荐烧瓶应用程序
04-22
综上所述，这个项目结合了Flask的Web开发能力与TF-IDF和余弦相似度的自然语言处理技术，为用户提供了基于内容的电影推荐服务。通过TMDB 5000数据集，我们可以获取丰富的电影信息，从而构建一个实用且具有扩展性的...
Python-Moviebox基于内容的机器学习推荐系统利用tfidf和余弦相似性算法
08-11
Moviebox：基于内容的机器学习推荐系统利用tf-idf和余弦相似性算法
cosine_similarities:根据 tfidfvectors 的余弦相似度查找相似推文
06-14
这是如何工作的 我们将实现一个简单而有效的模型，称为向量空间模型 (VSM)。 在这个模型中，我们基本上做的是将句子（在这种情况下是推文）投影到 n 维空间中，然后查看它们之间的角度，然后我们取其余弦。 这个值称为余弦相似度，该值在 0,1 之间变化。 因此，接近 0 (cos 90) 的向量与接近 1 (cos 0) 的向量不太相似。 执行 我们使用 scikit 的 TfidfVectorizer 将推文投影为向量，并计算这些向量之间的余弦相似度并存储在文件中。 这绝不是高计算效率，所以请忍受这段旧但有用的代码。 如何使用 你需要先设置一点。 在“ config.py ”文件中，您需要添加所需的推特密钥，以便程序可以访问推特流 API。 在“ stream.py ”下，您可以在两个函数之间进行选择，搜索查询#hashtag 或获取用户流。 完成第 1 步和第 2 步后，运行，
TF-IDF与余弦相似性
很吵请安静
08-16 1951
“词频”（Term Frequency，缩写为TF），停用词：表示对找到结果毫无帮助、必须过滤掉的词，如”的”、”是”、”在”—-这一类最常用的词 判定一个词的重要性：需要一个重要性调整系数，衡量一个词是不是常见词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。用统计学语言表达，就是在词频的基础上，要对每个词分配一个”重要性”权重。这...
python余弦相似度文本分类_TF-IDF与余弦相似度
weixin_39834984的博客
12-17 2057
在文本挖掘的预处理中，向量化之后一般都伴随着TF-IDF的处理，那么什么是TF-IDF，为什么一般我们要加这一步预处理呢？这里就对TF-IDF的原理做一个总结。文本向量化特征的不足在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，我们将下面4个短文本做了词频统计：corpus=["I come to China to travel","This is a car polu...
利用JAVA计算TFIDF和Cosine相似度-学习版本
weixin_30832983的博客
03-31 355
写在前面的话，既然是学习版本，那么就不是一个好用的工程实现版本，整套代码全部使用List进行匹配效率可想而知。 【原文转自】：http://computergodzilla.blogspot.com/2013/07/how-to-calculate-tf-idf-of-document.html，修改了其中一些bug。 P.S：如果不是被迫需要语言统一，尽量不要使用此工程计算TF-IDF，...
信息检索系列-TF-IDF和余弦相似度计算文档相似度
weixin_45670987的博客
05-30 2277
首先，大致梳理以下余弦相似度方法和IF-IDF方法的原理 1、余弦相似度计算文档相似度 余弦相似度方法的原理公式其实与我们高中的时候所学到的余弦公式相似，
使用 TF-IDF 和余弦相似度计算文本相似度
rkcy的博客
07-16 2003
TF-IDF（Term Frequency-Inverse Document Frequency）是一种统计方法，用于评估一个词语在一个文档或一个文档集合中的重要程度。TF-IDF 的值随着一个词语在文档中出现的次数成正比，但同时会随着它在整个文档集合中的出现频率成反比。
检索模型（余弦相似度）
P_Joe
05-26 627
概念 计算题实例 将查询词向量（0，1，0，0，0，0，1，0）与右边各个（4列）文档的向量分别求余弦相似度，按照结果排序，最终ranked list为2，4，1，3
tf-idf计算余弦相似度
最新发布
04-22
### 如何用TF-IDF计算余弦相似度 #### 公式解释 TF-IDF 是一种用于评估词语在文档集中重要性的方法。其公式如下： \[ \text{TF}(t,d) = \frac{\text{词 } t \text{ 出现在文档 } d \text{ 中的次数}}{\text{文档 } d \text{ 总的词数}} \] \[ \text{IDF}(t,D) = \log \left(\frac{\text{总文档数} + 1}{\text{包含词 } t \text{ 的文档数} + 1}\right) + 1 \] \[ \text{TF-IDF}(t,d,D) = \text{TF}(t,d) \times \text{IDF}(t,D) \] 余弦相似度衡量两个向量之间的夹角余弦值，表示它们的方向接近程度。对于两篇文档 \(d_1\) 和 \(d_2\) 转化后的 TF-IDF 向量 \(v_1\) 和 \(v_2\)，余弦相似度定义为： \[ \cos(\theta) = \frac{v_1 \cdot v_2}{||v_1|| \times ||v_2||} \] 其中： - \(v_1 \cdot v_2\) 表示向量点积， - \(||v_1||\) 和 \(||v_2||\) 分别是向量的模。 --- #### 示例代码实现 以下是基于 `scikit-learn` 实现 TF-IDF 和余弦相似度计算的完整代码[^1]： ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 示例文档集合 documents = [ "今天天气很好", "我们去公园散步", "天气预报说今天有雨", "出去玩需要带伞" ] # 创建 TF-IDF 向量化器并拟合数据 vectorizer = TfidfVectorizer() tfidf_matrix = vectorizer.fit_transform(documents) # 输出每个文档的 TF-IDF 向量 print("TF-IDF 矩阵：") print(tfidf_matrix.toarray()) # 计算余弦相似度矩阵 cosine_sim = cosine_similarity(tfidf_matrix) # 输出余弦相似度矩阵 print("余弦相似度矩阵：") print(cosine_sim) ``` 如果希望手动实现 NLTK 版本，则可以参考以下代码片段[^2]： ```python import nltk from nltk.corpus import stopwords from collections import Counter def compute_tf(word_list): """ 计算词频 (Term Frequency) """ tf_dict = Counter(word_list) total_words = len(word_list) return {word: freq / float(total_words) for word, freq in tf_dict.items()} def compute_idf(corpus): """ 计算逆文档频率 (Inverse Document Frequency) """ N = len(corpus) idf_dict = {} corpus_word_set = set([word for doc in corpus for word in doc]) for word in corpus_word_set: df = sum(1 for doc in corpus if word in doc) idf_dict[word] = max(nltk.math.log(N / (df + 1)), 0) return idf_dict def compute_tfidf(tf, idf): """ 将 TF 和 IDF 结合起来计算 TF-IDF """ return {word: tf[word] * idf.get(word, 0) for word in tf.keys()} ``` 以上代码提供了基础框架，可以根据具体需求扩展功能。 --- #### 解释结果 运行上述代码后会获得两个主要输出： 1. **TF-IDF 矩阵**：每行代表一个文档，列对应于词汇表中的不同单词，数值表示该单词在此文档中的权重。 2. **余弦相似度矩阵**：这是一个方阵，第 \(i,j\) 位置上的值表示第 \(i\) 篇文档与第 \(j\) 篇文档的相似度得分。对角线上的值恒等于 1，因为任何文档与其自身的相似度最高。 通过观察这些矩阵，可以直观理解各文档间的语义关系以及关键词的重要性分布[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值