海量数据的匹配 bloom filter 【别进来 很烂】

最新推荐文章于 2023-12-23 23:36:23 发布
最新推荐文章于 2023-12-23 23:36:23 发布
阅读量219 收藏
点赞数
分类专栏： j2se 文章标签： 面试 腾讯 Mapreduce QQ Blog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cheer_nice/article/details/83909182
版权
本文讨论了一道腾讯面试题：如何找出两天内重复登录的一亿个QQ账号。文章介绍了使用布隆过滤器(Bloom Filter)来解决大规模数据集中的重复元素问题，并探讨了此问题是否适合采用MapReduce进行分块处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引出 是老张说的腾讯的面试题

 

说 昨天有一亿个QQ登陆啦

今天又有一亿个

问...

找到这两天重复登录的

 

bloom filter 

于是有下面几个链接

 

http://blog.youkuaiyun.com/jiaomeng/archive/2007/01/27/1495500.aspx

 

http://blog.redfox66.com/redfox66/blog/post/2010/09/24/mass-data-topic-2-bloom-filter.aspx

 

上面两个进行了阐述概念

 

http://blog.zol.com.cn/658/article_657087.html  

 

这个主要说了几个场合 特别适合用bloom  filter

 

http://my.oschina.net/xtxb/blog/3853

 

这个主要讲了下  counting bloom filter

 

 

 

这个题是否适合mapReduce呢 分块处理

Java海量数据处理算法
炎溟墨的博客
09-04 3403
文章目录Hash法Bit-map法Bloom filter法数据库优化法倒排索引法外部排序法trie树双层桶法MapReduce法 Hash法 在处理海量数据的过程中,使用hash法一般可以快速存取,统计某些数据,将大量数据进行分类,例如提取某日访问网站次数最多的IP地址等. 常用散列函数的构建方法如下: 直接寻址法 取关键字或关键字的某个线性函数值为散列地址,即h(key)=key或h(k...
五个常用好用的数据结构(BloomFilter、Hyperloglog等)
keyboard2000
06-11 2275
维基百科上列的一些probabilistic data structures：Bloom filter、Count–min sketch、Cuckoo filter、HyperLogLog、Kinetic hanger、Kinetic heater、Locality-sensitive hashing、MinHash、Quotient filter、Random binary tree、Rando...
海量数据匹配 数据库
10-21
可以直接运行，海量数据读取、匹配和查询 完成了资源的有效控制以及数据库的读取
基于Bloom Filter的海量数据分布式快速匹配算法研究.pdf
08-11
#资源达人分享计划#
海量数据相似数据查询方法
霜叶的博客
02-18 1702
海量文本场景，如何寻找一个doc的topn相似doc，一般存在2个问题，1)、两两对比时间o(n^2)2)、高维向量比较比较耗时。文本集可以看成(doc,word)稀疏矩阵，一般常见的方法是构建到排索引，然后进行归并。
大数据算法系列9:字符串匹配问题，海量字符串处理
只是甲的博客
11-02 1199
Java 数据 算法 哈希算法
海量数据处理方法：Bloom Filter与更多策略解析
本文主要总结了处理大数据量和海量数据的各种方法，包括Bloom Filter、哈希、位图、堆、双层桶划分、数据库索引、倒排索引、外排序以及Trie树等。文章针对每种方法的适用范围、要点和实例进行了详细阐述，旨在提供...
海量数据处理面试宝典：BloomFilter到MapReduce解决方案
1. **BloomFilter**：这是一种高效的空间数据结构，用于判断一个元素是否在一个集合中，但可能存在误判（false positive），适用于能容忍低错误率场景，如数据去重和判重。理解BloomFilter的基本原理涉及位数组和多...
海量数据处理面试攻略：BloomFilter与关键技术详解
1. **Bloom Filter** - 这是一种高效但存在误判可能性的数据结构，适用于对错误容忍度较高的场景，如数据字典、去重或集合交集操作。它的基本原理是利用位数组和多个独立的哈希函数，通过将元素映射到多个位置并置1...
Bit-Map实现海量数据映射的简单算法
超纯的小白兔
10-04 5113
Bit-Map实现海量数据映射的简单算法 (转自张季伦空间)      最近一直在搞搜索引擎,准确的说是丢了一个月又开始鼓捣搜索引擎,在做避免网页重复搜索时遇到了困难;打算用hash来映射url字符串从而避免重复搜索(神马是hash我就不重复了,自己补数据结构去),但是考虑到网页url的海量性,做一个demo的搜索引擎出来也不要太寒酸,所以设计的网页索引量预计在数千万到数亿左右,如果用朴素的ha
bloomFilter实现海量字符串查找
11-23
布隆过滤器实现的海量字符串查找，从一百万Email地址中查找给定的一百个是否存在
5、redis之bloom（布隆）过滤器
qq_52720916的博客
03-01 704
redis之bloom过滤器（解决击穿）
海量数据搜索、查询
知之可否
05-13 1807
1.有一篇英文文章(也就是说每个单词之间由空格分隔)，请找出“csdn”这个单词出现的次数。要求效率最高，并写出算法的时间级。方法一： 假设不区分大小写，由于英文字母有26个，因此，可以将单词映射为数字。csdn被映射成: 　　( ‘c ‘- ‘a ‘)*32*32*32+( ‘s ‘- ‘a ‘)*32*32+( ‘d ‘- ‘a ‘)*32+( ‘n ‘- ‘a ‘) 　　即：( ‘c ‘
Bloom过滤器
最新发布
斌斌(Java)
12-23 1305
Bloom过滤器是一个允许用户描述特定的关键词组合而不必精确表述的基于概率的过滤方法。它能让用户在有效搜索关键词的同时保护他们的隐私。1970年，它由布隆提出的。实际上它是由一个很长的二进制向量和一系列随意映射函数组成。它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。它能够告诉你某个元素一定不在集合内或可能在集合内。
分析图片相似度的软件,图片相似度比对算法
shirley67269的博客
08-21 2675
SIM=StructuralSIMilarity（结构相似性），这是一种用来评测图像质量的一种方法。由于人类视觉很容易从图像中抽取出结构信息,因此计算两幅图像结构信息的相似性就可以用来作为一种检测图像质量的好坏.首先结构信息不应该受到照明的影响,因此在计算结构信息时需要去掉亮度信息,即需要减掉图像的均值;其次结构信息不应该受到图像对比度的影响,因此计算结构信息时需要归一化图像的方差;最后我们就可以对图像求取结构信息了,通常我们可以简单地计算一下这两幅处理后的图像的相关系数.然而图像质量的好坏也受到亮度信息和
海量文本相似度匹配
fkyyly的专栏
12-14 2814
1 词与词之间的匹配（主要用于分词，单词补全，模板匹配） 1.1 一对一 KMP 1.2一对多 前缀树 1.3多对多 给一个字典，再给一个m长的文本（m长的文本里面包含很多的词），问这个文本里出现了字典里的哪些字。 1.3.1 方法一：使用HashMap复杂度是O(maxLengh(word)*length(str))这样和字典的大小没有关系 1.3.2 方法二：AC自动机 ht...
海量数据处理之基本方法
热门推荐
yaotinging的专栏
04-13 1万+
2013年9月18日 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 1．Hash法 Hash一般被翻译为哈希，也被称为散列，它是一种映射关系，即给定一个数据元素，其关键字为key，按一个确定的哈希函数Hash计算出h
海量数据处理之字符串处理
sinat_29844779的博客
06-03 506
#include #define MAX 26 using namespace std; struct Node{ bool isStr; Node *next[MAX]; }; void insert(Node *root,const char *s) { if(root==NULL||s=='\0') return; size_t i; Node *p = root; whi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值