TF-IDF提取关键词并用余弦算法计算相似度

最新推荐文章于 2025-05-24 15:15:46 发布
原创 最新推荐文章于 2025-05-24 15:15:46 发布 · 8k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #文本处理

TF-IDF算法是关键词提取的一种简单有效方法，通过计算词频和逆文档频率来确定词语的重要性。为了避免常用词占据过多权重，引入了IDF。余弦相似度用于衡量文档之间的相似性，通过计算向量夹角的余弦值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

TF-IDF算法是一个很易懂的关键词提取算法，算法易实现，易懂且易操作，缺陷是将词频作为唯一考虑因素，且对于位置没有敏感性，位置的问题可以通过人为添加权重的方式改善，比如给第一段最后一段，或者每一段的第一句话加高权重。。。（类似于总分，总分总啥的文本结构吧）


TF-IDF算法简单描述：

TF是Term Frequency的缩写，即单纯的计算词频，比如，两句话分别是“我最喜欢吃我做的土豆”，“我最喜欢海”，因为是简介，就不讲究完备性，不将这句话分词，只考虑每个字，那么，第一句话中，“我”出现了两次，其他的字各出现了一次，第二句中，所有的字都出现了一次，那么计算TF的时候，只用将每个字的出现次数除以总字数即可：

TF = 文章中出现次数/文章总词数

【我：0.2，最：0.1，喜：0.1，欢：0.1，吃：0.1，做：0.1，的：0.1，土：0.1，豆：0.1】

【我

最低0.47元/天 解锁文章

200万优质内容无限畅学
如何用TF-IDF 计算句子的语义相似性
机器学习深度学习业余选手
08-09 704
如何用TF-IDF 计算句子的语义相似性
TF-IDF关键词提取
u013546508的博客
08-13 643
import jieba import jieba.analyse from tqdm import tqdm from sklearn.feature_extraction.text import TfidfVectorizer # data : 文本list # jieba 关键词提取 def key_words1(data): text = ' '.join(data) kwds = jieba.analyse.extract_tags(text, topK=20, withWei
关键字提取算法TF-IDF
weixin_30496751的博客
11-05 239
在文本分类的学习过程中，在“如何衡量一个关键字在文章中的重要性”的问题上，遇到了困难。在网上找了很多资料，大多数都提到了这个算法，就是今天要讲的TF-IDF。 总起 　　TF-IDF，理解起来相当简单，他实际上就是TF*IDF，两个计算值的乘积，用来衡量一个词库中的词对每一篇文档的重要程度。下面我们分开来讲这两个值，TF和IDF。 TF 　　TF，是Term Frequency的缩写，就是...
TF-IDF和词袋模型
weixin_48093379的博客
05-24 727
特性词袋模型（BoW）TF-IDF是否考虑词频是（原始计数）是（加权后的词频）是否惩罚常见词否是（通过IDF）适用场景简单文本分类/基线模型信息检索、关键词提取计算复杂度低中等。
《机器学习》——TF-IDF（关键词提取）
will be blogging
01-13 1187
TF - IDF（Term Frequency - Inverse Document Frequency）是一种用于信息检索和文本挖掘的常用加权技术。它由两部分组成：词频（TF）和逆文档频率（IDF）。
TF-IDF关键词提取算法
m0_61133560的博客
03-25 2483
TF-IDF关键词提取算法
TF-IDF求取文本相似度
LHH的博客
05-14 897
TF-IDF求取文本相似度 1.需求 有目标文本和许多的待检测文本，需要求得的是目标文本与其他文本的相似度。有停止词。 待检测文本如下： 目标文本： 要求取的是目标文本与待检测版本的相似度 2.TF-IDF算法求解相似度 #-*- encoding:utf-8 -*- import jieba from gensim import corpora, models, similarities import heapq import os import json import pandas as pd im
python中文相似度_基于TF-IDF、余弦相似度算法实现文本相似度算法的Python应用
weixin_39895283的博客
11-24 1873
基于TF-IDF算法、余弦相似度算法实现相似文本推荐——文本相似度算法，主要应用于文本聚类、相似文本推荐等场景。设计说明使用jieba切词，设置自定义字典使用TF-IDF算法，找出文章的关键词；每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（待优化:为了避免文章长度的差异，可以使用相对词频,）；生成两篇文章各自的词频向量；计算两个向量的余弦相似度，值...
java 向量相似度计算 tf-idf_文本相似度——基于TF-IDF与余弦相似性
weixin_30902943的博客
02-13 1205
本篇博客，主要是描述一种计算文本相似度的算法，基于TF-IDF算法和余弦相似性。算法的描述请务必看阮一峰的博客，不然看不懂本篇博客，地址：在这里，主要讨论具体的代码的实现。过程如下：使用TF-IDF算法，找出两篇文章的关键词；每篇文章各取出若干个关键词(比如20个)，合并成一个集合，计算每篇文章对于这个集合中的词的词频(为了避免文章长度的差异，可以使用相对词频)；生成两篇文章各自的词频向量；计算两...
NLTK实现TF-IDF，并结合余弦相似度进行文本相似度计算（附完整代码实现）
qq_37754830的博客
04-27 2482
NLTK实现TF-IDF，并结合余弦相似度进行文本相似度计算 TF-IDF（词频-逆文件频率） TF-IDF（term frequency–inverse document frequency，词频-逆文件频率）是一种常用的加权技术，一般被用来寻找文本中的关键词。 TF-IDF实际上可分为TF（term frequency，词频）和IDF（inverse document frequency，逆文件频率）： TFi,j=ni,j∑knk,j TF_{i,j}=\frac{n_{i,j}}{\sum _k n
基于内容的新闻推荐系统——Java EE技术栈下TF-IDF与余弦相似度算法的应用 - jieba分词
最新发布
08-14
推荐算法基于TF-IDF和余弦相似度，通过对用户浏览行为的分析，提取新闻关键词并计算相似度，最终为用户提供个性化推荐。系统分为前台和后台两大模块，前台提供新闻浏览、评论、搜索等功能，后台支持系统设置、用户...
相似度计算之(三)——TF-IDF
educationer的博客
08-14 727
对于任意文章，采用分词器分词后，为了选取关键词，区分词的重要程度，可使用TF-IDF算法 TF-IDF介绍： 逆向文件频率（IDF）是一个词语普遍重要性的度量，IDF分母为dft+1，是为了预防分母为0的情况，即，没有文章中包含这个词的情况 TF-IDF = 词条t在D中的频率 * lg 总的文章数/包含t的文章数 其中，应删除词也在统计范围中，只是TF-IDF的值比较小 词条频率：对词的归一化...
文本相似度计算之tf-idf
疯子的专栏
07-20 2866
最基本的文本相似度计算是在向量空间模型(VSM)下，以文档中的词作为特征进行计算： 先来说一下VSM 思想很简单： 假设我现在的文档集中有3篇文档：
python文本相似度分析：TF-IDF方法
焦糖呱呱子的博客
05-12 3420
文本相似度分析
【翻】TF-IDF、BM25模型用于相似性计算
Toby的博客
07-08 1000
在推荐算法中，计算相似性或距离度量是最常见的事情，也有非常多的相似性计算公式，比如基于集合的方法（谷本系数、J accard相似性系数），基于几何的方法（余弦相似性公式）等。 这里介绍下来自信息检索领域的方法 TF-IDF、BM25模型用于计算相似性。 参考文章 Distance Metrics for Fun and Profit 假设我们有用户收听过音乐家音乐的数据，我们想要计算与某位音乐家相似的Top-N音乐家，用于音乐推荐或其他。 一、TF-IDF模型用于计算相似性 使用TF-ID..
NLP文本相似度(TF-IDF)
weixin_34101784的博客
01-14 1229
本篇博文是数据挖掘部分的首篇，思路主要是先聊聊相似度的理论部分，下一篇是代码实战。 我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到一个动作——双方的比较。只有通过比较才能得出结论，究竟是相同还是不同。但是万物真的有这么极端的区分吗？在我看来不是的，生活中通过“相似度”这词来描述可能会更加准确。比如男人和女人，虽然生理器官和可能思想有些不同，但也...
TF-IDF与余弦相似性的应用
码农谈算法
04-06 1681
本文转自http://www.ruanyifeng.com/blog/it/algorithm/，感谢作者。        这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等
TF-IDF算法和余弦相似度算法计算文本相似度（纯手撕）
热门推荐
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
09-06 1万+
一、TF-IDF算法   TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。   TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   TF-IDF的主要思想是：如果某个单词在一篇文章中
计算文本相似度－tf和tf-idf方法
Eric_LH的博客专栏
10-18 6599
来源https://juejin.im/post/5b237b45f265da59a90c11d6 TF计算 第三种方案就是直接计算 TF 矩阵中两个向量的相似度了，实际上就是求解两个向量夹角的余弦值，就是点乘积除以二者的模长，公式如下： cosθ=a·b/|a|*|b| 上面我们已经获得了 TF 矩阵，下面我们只需要求解两个向量夹角的余弦值就好了，代码如下： from sklearn.feat...
TF-IDF算法与余弦相似性：自动关键词提取
"TF-IDF算法是一种用于信息检索和文本挖掘中的关键词提取方法，通过结合词频(Term Frequency, TF)和逆文档频率(Inverse Document Frequency, IDF)来计算单词的重要性。余弦相似性则是一种衡量两个非零向量之间角度的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值