Simhash算法及python实现

原创 已于 2022-07-05 17:45:04 修改 · 3.9k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2022-06-24 15:51:52 首次发布
本文探讨了Simhash算法在大规模文本相似度计算中的应用，通过TF-IDF特征提取和Simhash原理，实现文本去重，并介绍了如何利用海明距离和关键词选择来提高效率。Simhash尤其适合处理海量文本，尽管存在精度局限，但其在速度上的优势显著。

1. 为什么需要Simhash?

传统相似度算法：文本相似度的计算，一般使用向量空间模型(VSM)，先对文本分词，提取特征，根据特征建立文本向量，把文本之间相似度的计算转化为特征向量距离的计算，如欧式距离、余弦夹角等。

缺点：大数据情况下复杂度会很高。

Simhash应用场景：计算大规模文本相似度，实现海量文本信息去重。

Simhash算法原理：通过hash值比较相似度，通过两个字符串计算出的hash值，进行异或操作，然后得到相差的个数，数字越大则差异越大。

2. 文章关键词特征提取算法TD-IDF

词频（TF）：一个词语在整篇文章中出现的次数与词语总个数之比；

逆向词频（IDF)：一个词语，在所有文章中出现的频率都非常高，这个词语不具有代表性，就可以降低其作用，也就是赋予其较小的权值。

        分子代表文章总数，分母表示该词语在这些文章出现的篇数。一般会采取分母加一的方法，防止分母为0的情况出现，在这个比值之后取对数，就是IDF了。

        最终用tf*idf得到一个词语的权重，进而计算一篇文章的关键词。然后根据每篇文章对比其关键词的方法来对文章进行去重。simhash算法对效率和性能进行平衡，既可以很少的对比（关键词不能取太多），又能有好的代表性（关键词不能过少）。

3. Simhash原理

   &n

最低0.47元/天 解锁文章
算法 # SimHash 算法：文本相似度、文本去重、海量文本快速查询
skysys的研究小屋
02-28 1477
SimHash 是 Google 发明的海量网页去重的高效算法，将原始的文本映射为 64 位的二进制串，然后通过比较二进制的差异进而表示原始文本内容的差异。传统的 Hash 算法只负责将原始内容尽量均匀随机地映射为一个 hash 值，原理上相当于伪随机数产生算法。SimHash 本身属于一种算法，产生的 hash 签名在一定程度上可以表征原内容的相似度。SimHash算法分为5个步骤：分词、hash、加权、合并、降维。
simhash原理以及用python3实现simhash算法详解（附python3源码）
数据知道的博客
06-12 2万+
Simhash应用场景：计算大规模文本相似度，实现海量文本信息去重。 Simhash算法原理：通过hash值比较相似度，通过两个字符串计算出的hash值，进行异或操作，然后得到相差的个数，数字越大则差异越大。
simhash长文本查重算法原理与实战
qq_51677409的博客
03-02 3387
SimHash本身属于一种局部敏感hash，其主要思想是降维，将高维的特征向量转化成一个f位的指纹（fingerprint），通过算出两个指纹的海明距离（hamming distince）来确定两篇文章的相似度，海明距离越小，相似度越低（根据 Detecting Near-Duplicates for Web Crawling 论文中所说），。simhash也有其局限性，在处理小于500字的短文本时，simhash的表现并不是很好，所以在使用simhash前一定要注意这个细节。参考文献。
爬虫中的网页去重最适合的算法---simhash算法
lovoo的博客
06-29 1491
Simhash算法是一种用于字符串相似度比较的算法，它可以用于爬虫中的网页去重。Simhash算法的基本思想是将字符串分解成一些基本的特征，如字符、单词、n-gram等，然后对每个特征计算一个hash值，并将这些hash值合并成一个整体hash值。对于两个字符串，如果它们的整体hash值相似，那么它们的内容也就相似。需要注意的是，Simhash算法也存在一些问题。例如，对于一些相似的字符串，它们的整体hash值可能相差很大，这就会影响去重的准确性。
simhash算法
nanfeng224的专栏
09-07 1717
simhash算法 方法介绍 背景 如果某一天，面试官问你如何设计一个比较两篇文章相似度的算法？可能你会回答几个比较传统点的思路： 一种方案是先将两篇文章分别进行分词，得到一系列特征向量，然后计算特征向量之间的距离（可以计算它们之间的欧氏距离、海明距离或者夹角余弦等等），从而通过距离的大小来判断两篇文章的相似度。另外一种方案是传统hash，我们考虑为每一个web文档通过ha
浅谈simhash及其python实现
热门推荐
madujin的博客
11-13 2万+
讲述了simhash的基本原理和步骤，并用python实现了simhash
simhash, Simhash算法的python 实现.zip
09-18
simhash, Simhash算法的python 实现 simhash这是 Simhash的python 实现。正在启动http://leons.im/posts/a-python-implementation-of-simhash-algorithm/插件生成状态
基于Simhash算法的Python论文查重系统实现
最新发布
10-18
本系统采用Simhash算法构建，专为学术论文相似度检测而设计。该技术方案通过特征向量比对实现文本重复率分析，适用于教育机构及研究人员的非营利性学术交流场景。系统核心功能包括文档预处理、指纹特征提取、汉明...
用于文本去重（相似度计算）的Simhash算法学习及python实现（持续学习中）
qq_44418077的博客
03-05 1万+
Simhash算法学习及python实现1. Simhash算法是什么？2.Simhash算法思想3.Simhash算法流程3.1 分词3.2 hash3.3 加权3.4 合并3.5降维4. SimHash签名距离计算4.1 什么是海明距离呢？4.2 大规模数据下的海明距离计算参考文章 来源于众多文章的学习，将在文章末尾，集中附录出所有学习的文章 1. Simhash算法是什么？ 一段文字所包含的信息，就是它的信息熵。如果对这段信息进行无损压缩编码，理论上编码后的最短长度就是它的信息熵大小。 如果仅仅是用来
Simhash算法详解及python实现
此生不换的博客
02-10 6794
Simhash算法详解及python实现 GoogleMoses Charikar发表的一篇论文“detecting near-duplicates for web crawling”中提出了simhash算法，专门用来解决亿万级别的网页的去重任务。 文章目录Simhash算法详解及python实现前言一、什么是simhash二、simhash步骤1.分词2.hash3.加权4.合并5.降维三、simhash比对总结 前言 simhash算法用来进行文本比对的 提示：以下是本篇文章正文内容，下面案
python实现simhash算法实例
01-20
Simhash的算法简单的来说就是，从海量文本中快速搜索和已知simhash相差小于k位的simhash集合，这里每个文本都可以用一个simhash值来代表，一个simhash有64bit，相似的文本，64bit也相似，论文中k的经验值为3。该方法的缺点如优点一样明显，主要有两点，对于短文本，k值很敏感；另一个是由于算法是以空间换时间，系统内存吃不消。 复制代码 代码如下:#!/usr/bin/python# coding=utf-8class simhash:    #构造函数    def __init__(self, tokens=”, hashbits=128):          
Java实现simHash算法
05-21
Java实现simHash算法，对应博客http://www.cnblogs.com/hxsyl/p/4518506.html
文本相似度计算——Simhash算法（python实现）
Trisyp的博客
02-04 1万+
互联网网页存在着大量重复内容，必须有一套高效的去重算法，否则爬虫将做非常多的无用功，工作时效性无法得到保证，更重要的是用户体验也不好。业界关于文本指纹去重的算法众多，如 k-shingle 算法、google 提出的simhash 算法、Minhash 算法、百度top k 最长句子签名算法等等，本文主要介绍simhash算法以及python应用. simhash 与传统hash 的区别 传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的hash算法
simHash介绍及python实现
ling620的专栏
07-12 9258
文章目录1、simHash简介2、simHash具体流程3、Python实现simHash 1、simHash简介 simHash算法是GoogleMoses Charikear于**年发布的一篇论文《Detecting Near-duplicates for web crawling》中提出的， 专门用来解决亿万级别的网页去重任务。 simHash是局部敏感哈希（locality sensitv...
simhash算法的原理-用于实现文本判重复算法
train的专栏
11-08 1972
<br /><br />第一次听说google的simhash算法[1]时，我感到很神奇。传统的hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上相当于伪随机数产生算法。传统hash算法产生的两个签名，如果相等，说明原始内容在一定概率下是相等的；如果不相等，除了说明原始内容不相等外，不再提供任何信息，因为即使原始内容只相差一个字节，所产生的签名也很可能差别极大。从这个意义上来说，要设计一个hash算法，对相似的内容产生的签名也相近，是更为艰难的任务，因为它的签名值除了提供原始内容是否相等的信
python实现实例_python实现simhash算法实例
weixin_39663258的博客
11-23 232
Simhash的算法简单的来说就是，从海量文本中快速搜索和已知simhash相差小于k位的simhash集合，这里每个文本都可以用一个simhash值来代表，一个simhash有64bit，相似的文本，64bit也相似，论文中k的经验值为3。该方法的缺点如优点一样明显，主要有两点，对于短文本，k值很敏感；另一个是由于算法是以空间换时间，系统内存吃不消。代码如下:#!/usr/bin/python#...
simhash的python实现
军军的博客
03-23 1690
import hashlib def hash_str(s): md5 = hashlib.md5() md5.update(s) res = int(md5.hexdigest()[:16], base=16) return bin(res)[2:].zfill(64) def simhash(words, weights): words = ma
SimHash算法
一梦南柯
08-19 4135
SimHash算法可计算文本间的相似度，实现文本去重。文本相似度的计算，可以使用向量空间模型(VSM)，即先对文本分词，提取特征，根据特征建立文本向量，把文本之间相似度的计算转化为特征向量距离的计算，如欧式距离、余弦夹角等。但这样做的缺点是复杂度会很高。   基于VSM的文本相似度计算，对于小量数据处理是可以的，但对于百度，google这样的搜索引擎，爬虫每天爬取的网页数目大得惊人，为了防止网...
simhash算法实现python
04-03
Simhash算法是一种用于文本相似度比较的算法，它可以通过将文本的特征哈希为一个固定长度的二进制数字，然后比较这些数字的汉明距离来确定文本的相似度。 以下是一个简单的Simhash算法实现的Python代码： ```python import re import hashlib def simhash(text): # 定义哈希位数 hashbits = 64 # 定义特征向量 v = [0] * hashbits # 分词 words = re.findall(r'\w+', text.lower()) # 遍历每个单词 for word in words: # 计算单词的哈希值 hashval = int(hashlib.md5(word.encode('utf-8')).hexdigest(), 16) # 遍历哈希值的每一位 for i in range(hashbits): # 如果该位为1，加上权重，否则减去权重 if (hashval & (1 << i)): v[i] += 1 else: v[i] -= 1 # 生成simhash值 simhash = 0 for i in range(hashbits): if v[i] > 0: simhash |= 1 << i return simhash ``` 使用示例： ```python text1 = "This is a test text for simhash algorithm." text2 = "This is a test text for simhash algorithms." # 计算simhash值 simhash1 = simhash(text1) simhash2 = simhash(text2) # 计算汉明距离 hamming_distance = bin(simhash1 ^ simhash2).count('1') # 打印结果 print("Simhash1:", simhash1) print("Simhash2:", simhash2) print("Hamming distance:", hamming_distance) ``` 输出结果： ``` Simhash1: 12605323822822352684 Simhash2: 12769845372629383580 Hamming distance: 9 ``` 上述代码计算了两个文本的simhash值，并计算了它们的汉明距离。由于两个文本很相似，它们的simhash值很接近，但是由于有一些不同的单词，它们的汉明距离为9，说明它们的相似度比较高。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值