文本相似度算法(余弦定理)

最新推荐文章于 2024-04-07 21:46:11 发布
最新推荐文章于 2024-04-07 21:46:11 发布
阅读量2.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Java从入门到精通21天养成计划 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/46593499
本文讲述了在项目中遇到的文本相似度判断问题，最初采用距离编辑算法，但由于效率低下，转而使用余弦定理计算文本相似度。通过建立以字为单位的向量模型，计算向量夹角来确定相似度，实现在汉字文本中的高效应用。测试结果显示，余弦定理算法在时间和效果上优于距离编辑算法。

最近由于工作项目，需要判断两个txt文本是否相似，于是开始在网上找资料研究，因为在程序中会把文本转换成String再做比较，所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好，受益匪浅。

       于是我决定把它用到项目中，来判断两个文本的相似度。但后来实际操作发现有一些问题：直接说就是查询一本书中的相似章节花了我7、8

了解本专栏 订阅专栏 解锁全文
java 余弦定理_文本相似度计算之余弦定理
weixin_31236935的博客
02-17 365
前言余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中。用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，反之越接近0就表示两个向量相似度越低，这就叫"余弦相似性"。正文重温余弦定理先简单的重温一下高中数学知识，余弦定理 这个公式大家不知道还有没有印象呢...
文本相似度计算——HanLP分词+余弦相似度算法
qq_37771475的博客
09-19 6178
通过余弦相似度算法来计算文本相似性。
C#余弦算法比较文章相似度
04-18
采用TF余弦算法，对于word内容进行相似度的比较，并且对于图片也有相似度的比较，显示结果，按照相似度进行降序排序，展示出来相似度最高的2篇
自己实现文本相似度算法（余弦定理）
weixin_34049032的博客
03-04 404
2019独角兽企业重金招聘Python工程师标准>>> ...
基于C#的文本相似度检测
04-04
这是一个基于C#的反作弊系统，基于VSM空间向量模型，能对doc和txt文件进行相似度的检测，在VS2005和SQL Server 2005上实现
相似性计算-基于余弦定理（一）
haiziccc的专栏
09-19 390
初学数据分析，利用余弦定理进行文章相似性计算，思路如下： 1、对文章分词，利用结巴分词实现单词切割； 2、去除所有标点符号； 3、创建黑名单，既高频无用的词汇，例如“是”“的”“嗯”等词汇，从已分词组中去除； 4、进行wordcount，统计各单词对应词频； 5、将两篇文章分词结果进行合集，得到总的单词序列； 6、按照总的单词序列分别对两篇文章分词组进行查找，得到两个词频向量； 7、...
风控中的文本相似方法之余弦定理
Pysamlam的博客
02-26 475
大家好，今天看到小伍哥的一篇文章，分享给大家，做文本相似的一个基础方法。一、 余弦相似概述余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度...
精选资源
.NET下文本相似度算法余弦定理和SimHash浅析及应用实例分析
01-02
本文实例讲述了.NET下文本相似度算法余弦定理和SimHash浅析及应用。分享给大家供大家参考。具体分析如下： 余弦相似性 原理：首先我们先把两段文本分词，列出来所有单词，其次我们计算每个词语的词频，最后把词语...
.NET文本相似度：余弦定理与SimHash算法解析
.NET下文本相似度算法主要涉及两个关键概念：余弦定理和SimHash。这两种方法在信息检索、文本分类和推荐系统等领域有广泛应用。 余弦相似性是一种衡量两个非零向量之间角度的方法，常用于文本相似度计算。在文本...
余弦相似度算法实现
06-07
该算法是用于文本相似的判定，同时也可以判定两个用户的相似性。算法是以C#实现的，封装完毕，如有急要可以留言哦
文本相似度计算（TF-IDF）C#
04-04
namespace ServiceRanking { /// <summary> /// Summary description for TF_IDFLib. /// </summary> public class TFIDFMeasure { private string[] _docs; private string[][] _ngramDoc; private int _numDocs=0; private int _numTerms=0; private ArrayList _terms; private int[][] _termFreq; private float[][] _termWeight; private int[] _maxTermFreq; private int[] _docFreq; public class TermVector { public static float ComputeCosineSimilarity(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFER LENGTH"); float denom=(VectorLength(vector1) * VectorLength(vector2)); if (denom == 0F) return 0F; else return (InnerProduct(vector1, vector2) / denom); } public static float InnerProduct(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFFER LENGTH ARE NOT ALLOWED"); float result=0F; for (int i=0; i < vector1.Length; i++) result += vector1[i] * vector2[i]; return result; } public static float VectorLength(float[] vector) { float sum=0.0F; for (int i=0; i < vector.Length; i++) sum=sum + (vector[i] * vector[i]); return (float)Math.Sqrt(sum); } } private IDictionary _wordsIndex=new Hashtable() ; public TFIDFMeasure(string[] documents) { _docs=documents; _numDocs=documents.Length ; MyInit(); } private void GeneratNgramText() { } private ArrayList GenerateTerms(string[] docs) { ArrayList uniques=new ArrayList() ; _ngramDoc=new string[_numDocs][] ; for (int i=0; i < docs.Length ; i++) { Tokeniser tokenizer=new Tokeniser() ; string[] words=tokenizer.Partition(docs[i]); for (int j=0; j < words.Length ; j++) if (!uniques.Contains(words[j]) ) uniques.Add(words[j]) ; } return uniques; } private static object
余弦定理求第三边.cpp
04-06
利用C语言，实现余弦定理的运算，省去了计算时间，方便了数学、物理等习题的运算。适用于学生党。 键盘输入两边及其夹角（弧度制），即可快速求出第三边的长度。
基于字的文本相似度算法——余弦定理
IT- 研究者
10-05 3624
基于字的文本相似度余弦定理算法的原理是： （1）分别统计两个比较文本中所有字出现的频率，从而得出两个文本对应的向量 （2）利用余弦定理计算这两个向量的夹角余弦值 （3）根据自设置的阈值判断两个文本是否相似
C语言余弦定理
最新发布
m0_74642849的博客
04-07 322
迭代一手，让代码可以计算出夹角或者第三条边，即余弦定理及其逆运算。
Qt 5 爬取并计算两个Web网页的内容相似度(信息内容安全课设)
Alsn86的博客
06-28 1516
课设要求 项目构成 实现思路 下述方案针对的是英文文章 爬取两个页面的 Html 源代码 利用正则表达式从 Html 源代码中提取出文章的正文部分 分词 (1) 把正文中的标点符号都替换为空格 (只留下英文字母和空格),把文章字符都转为小写字母(这样在后续计算内容相似度时可以把my My归为一类,提高结果准确度) (2) 使用正则表达式和之前设计好的空格利用[a-zA-Z]{1,20},将每篇文章的单词都匹配出来,形成两个数组 A 和 B(都不需要进行去重),A和B分别保存文章 1 的所有单词和文章
C语言初步-顺序结构-已知三边求三角形面积-余弦定理
一匹刚学打乒乓球的老马
06-28 3189
由此，求三角型的面积为 s=b*sin(a)*c/2 程序如下： #include<stdio.h> #include "math.h" int main(void) { double a,b,c,s,cosa,sina; scanf("%Lf%Lf%Lf",&a,&b,&c); cosa=(b*b+c*c-a*a)/2/b/c; sina=sqrt(1-cosa*cosa); s=b*c*sina/2; ...
C语言-余弦
米兰的小科比
11-13 887
01 #include 02 int main() 03 { 04     int i,j,flag; 05     double x,n,y,a,b; 06     whi
C语言实验——余弦
zxd_dd的博客
04-15 392
#include &lt;stdio.h&gt;int main(){    double x, sum, t, a, s, item;    int n, i;    while (scanf("%lf %d", &amp;x, &amp;n) != EOF)        {        t = 1.0;        item = 1.0;        sum = 1.0;       ...
杭电OJ2080（C）余弦定理求夹角
眼里一片海
04-09 895
#include&lt;stdio.h&gt;#include&lt;stdlib.h&gt;#include&lt;math.h&gt;#define pi  3.14159265int main(){     double x1,y1,x2,y2;     int T;     scanf("%d",&amp;T);     while(T&gt;0){        scanf("%lf%l...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值