去重算法，simhash，shingle，百度去重算法

最新推荐文章于 2025-04-27 17:01:20 发布
原创 最新推荐文章于 2025-04-27 17:01:20 发布 · 846 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章对比了不同去重算法。百度去重算法简单，找出文章最长的3句话做hash签名，准确率和召回率超80%。shingle算法原理复杂，对工程实现不友好，速度慢，难以处理海量数据，其他算法可看微博讨论。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对比其他算法
『百度的去重算法』

百度的去重算法最简单，就是直接找出此文章的最长的n句话，做一遍hash签名。n一般取3。 工程实现巨简单，据说准确率和召回率都能到达80%以上。

『shingle算法』

shingle原理略复杂，不细说。 shingle算法我认为过于学院派，对于工程实现不够友好，速度太慢，基本上无法处理海量数据。

『其他算法』

具体看微博上的讨论

使用MinHash & LSH进行海量文本去重
u013250861的博客
10-31 775
例如，小写字母代表词，大写字母代表文档：然后，把原来的词典{a, b, c, d, e} 顺序，例如得到{b, e, a, d, c}，定义一个函数h：计算集合S最小的minhash值，就是在这种顺序下最先出现1的元素。那么，类似地，如果进行的话，就会有, 那原来每个高维集合，就会被降到n维空间，比如。但是实际中因为重排比较耗时，会用若干替代。比如设定一个哈希函数: h(x) = (i+1) % 5.
网页去重-算法篇
热门推荐
机器学习和我关注的技术
12-15 1万+
前一篇提到了5个解决网页去重的算法，这里我想讨论下这些算法 1. I-Match 2. Shingliing 3. SimHashing（ locality sensitive hash） 4. Random Projection 5. SpotSig 6. combined I-Match算法 I-Match算法有一个基本的假设说：不经常出现的词和经常出现的词不会影响文档的
百度咋做长文本去重（一分钟系列）
03-01
在抄袭成风的互联网环境下，采用“分句”的方式，用5条最长的网页内容作为网页的签名，能够极大的降低排重系统复杂度，提高排重准确率，不失为一种好的选择。
百度去重算法详细讲解
weixin_34198881的博客
12-11 802
网页去重据统计表明，近似重复网页的数量占总网页数量的比例高达全部页面的29%，而完全相同的页面大约占全部页面的22%,即互联网页面中有相当大的比例的内容是完全相同或者大体相近的重复网页有多种类型，这些重复网页有的是没有一点儿改动的副本，有的在内容上稍做修改，比如同一文章的不同版本，一个新一点，一个老一点，有的则仅仅是网页的格式不同（如HTML、Postscript）。内容重复...
Python列表去重全攻略：6种方法详解+性能对比+实战场景
最新发布
学习成长日记
04-27 2633
Python列表去重全攻略：6种方法详解+性能对比+实战场景
去重算法，简单粗暴&优化版
admin99900的博客
07-07 479
Remove Repeat 一、去重原理 　　1、进行排序 　　2、判断是否满足 '两个字符串相同' 的条件，相同则累加重复次数，并使用continue继续下一次循环 　　3、当条件不满足时，将该字符串和累计数加入数组中，并重置累计值。 二、源码 　　1、很久之前写的，我就不多说了。 import java.util.ArrayList; import java...
算法之去重
CHL博客
11-09 7455
方法一：new Set() 思路：es6新的数据类型 里面的值是惟一的 function unique(arr) { var newArr=[]; newArr=new Set(arr); return newArr;}var arr=[1,2,2,3,2,3,4,5,4];console.log('==================',unique(arr)) ...
去重算法(转)
jerosam的博客
12-06 1052
数组a[N]，1至N-1这N-1个数存放在a[N]中，其中某个数重复一次。写一个函数，找出被重复的数字。时间复杂度必须为o（N）函数原型： int do_dup(inta[],int N)   ×××××××××××××××××××××××××××××××××× 假金条的数学思想   此算法题借鉴了假金条的思想，不过比那个过程简单，存放1至N-1，就相当于依次从各个袋中取出1至N-1个
基于simhash的文本去重原理
行者AI
12-15 442
互联网网页存在大量的内容重复的网页, 文本，无论对于搜索引擎,爬虫的网页去重和过滤、新闻小说等内容网站的内容反盗版和追踪，还是社交媒体等文本去重和聚类，都需要对网页或者文本进行去重和过滤。为此必须有一套高效的去重算法，要不然爬虫将做非常多的无用功，时效性等都无法得到保证，更重要的是用户体验也不好。业界关于文本指纹去重的算法众多，如 k-shingle 算法、google 提出的simhash 算法、Minhash 算法、百度top k 最长句子签名算法等等,下面介绍下simhash算法以及python应用。
去重算法Similarity
07-12
在IT领域，去重算法是数据处理和信息检索中的关键组成部分，主要目的是识别并消除重复的数据，以提高存储效率和数据分析的准确性。本项目提供的"SimilarityAlgorithms"压缩包包含了几种常用的相似性计算方法，包括...
网页查重算法Shingling和Simhash和bloom filter研究
Raina_qing的博客
05-27 1319
网页查重算法Shingling和Simhash和bloom filter研究 在网页查重算法中 shingling 和 simhash 被认为是当前最好的两个算法。 shingling算法 shingling算法用于计算两个文档的相似度，例如，用于网页去重。 "a rose is a rose is a rose" 分词后的词汇(token，语汇单元)集合是 (a,rose,is,a,rose,is, a, rose) 那么w=4的4-shingling就是集合: { (a,rose,is,a), (r
【源代码】C++算法（五）一维数组去重（复杂度为n且不新开辟空间）
03-30
【源代码】C++算法（五）一维数组去重（复杂度为n且不新开辟空间） https://blog.youkuaiyun.com/handoking/article/details/79751939
去重算法
weixin_30634661的博客
09-06 111
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>去从算法</title> <script text="text/javascript"> var...
数组去重方法及算法
chanzhiliao的博客
09-10 639
数组去重算法 方法一 function removeRepeat(arr) { var newarr= arr.filter(function(element, index, arr) { return arr.indexOf(element) == index; //return后面是数组的筛选条件，不是布尔值 }); console.log(newarr); } indexOf找出数组中某个元素第一次出现的位置， filter找出
长文本去重缘起： （1）原创不易，互联网抄袭成风，很多原创内容在网上被抄来抄去，改来改去 （2）...
weixin_34151004的博客
03-03 178
2019独角兽企业重金招聘Python工程师标准>>> ...
简单的去重算法
冯小卫
06-01 4045
第一种实现： import java.util.ArrayList; import java.util.List; public class CustomList { private ArrayList list = new ArrayList(); private int capacity = 10; private int count = capacity / 2; pub
Java中List集合去除重复数据的方法
积硅步以致千里
01-20 1万+
1. 循环list中的所有元素然后删除重复 [java] view plain copy public   static   List  removeDuplicate(List list)  {         for  ( int  i  =   0 ; i  1 ; i ++ )  {             for  ( int  j  =  list.siz
数组去重算法
技术专栏
05-12 1246
最近， 需要对数组去重， 当然排序后再顺序去重，是很自然的想法， 但是输出数组并不要求排序， 所以想写一个简单的算法。这个算法并不开新的空间，就是在原数组上进行。看代码吧，我的是delphi。 var A: Array of Integer; I,J,C,K, P: Integer; begin C:=10; SetLength(A,10); A[0]:=1; A[1]:=4; A[2]:=2; A[3]:=6; A[4]:=3; A[5]:=4;
去重算法-数组去重
BLUESKYHOST的博客
05-11 246
初始值,
golang实现simhash算法
04-22
可以使用golang的hash/crc32包来计算simhash算法中的哈希值，具体实现可以参考以下代码： ``` package simhash import ( "bytes" "hash/crc32" ) // Simhash represents a 64-bit hash value type Simhash uint64 // NewSimhash calculates the simhash of the given data func NewSimhash(data []byte) Simhash { // Step 1: tokenize data into shingles shingles := tokenize(data) // Step 2: compute the weighted frequency counts of shingles counts := countShingles(shingles) // Step 3: create the simhash var simhash Simhash for shingle, weight := range counts { hash := crc32.ChecksumIEEE([]byte(shingle)) for i := 0; i < 32; i++ { if hash&(1<<uint(i)) != 0 { simhash += Simhash(weight) } else { simhash -= Simhash(weight) } } } return simhash } // tokenize splits the given data into shingles func tokenize(data []byte) []string { shingles := make([]string, 0) var buffer bytes.Buffer for i := 0; i < len(data); i++ { if data[i] == ' ' { shingles = append(shingles, buffer.String()) buffer.Reset() continue } buffer.WriteByte(data[i]) } if buffer.Len() > 0 { shingles = append(shingles, buffer.String()) } return shingles } // countShingles computes the weighted frequency counts of the given shingles func countShingles(shingles []string) map[string]int { counts := make(map[string]int) for _, shingle := range shingles { counts[shingle]++ } return counts } ``` 这段代码实现了simhash算法的三个步骤：将输入数据分割为shingles，计算shingles的加权频率，以及计算simhash值。其中，crc32包用于计算哈希值，bytes包用于处理字符串。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值