海量数据的匹配 bloom filter 【别进来 很烂】

最新推荐文章于 2023-12-23 23:36:23 发布
原创 最新推荐文章于 2023-12-23 23:36:23 发布 · 240 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#面试 #腾讯 #Mapreduce #QQ #Blog

本文讨论了一道腾讯面试题：如何找出两天内重复登录的一亿个QQ账号。文章介绍了使用布隆过滤器(Bloom Filter)来解决大规模数据集中的重复元素问题，并探讨了此问题是否适合采用MapReduce进行分块处理。

引出 是老张说的腾讯的面试题

 

说 昨天有一亿个QQ登陆啦

今天又有一亿个

问...

找到这两天重复登录的

 

bloom filter 

于是有下面几个链接

 

http://blog.youkuaiyun.com/jiaomeng/archive/2007/01/27/1495500.aspx

 

http://blog.redfox66.com/redfox66/blog/post/2010/09/24/mass-data-topic-2-bloom-filter.aspx

 

上面两个进行了阐述概念

 

http://blog.zol.com.cn/658/article_657087.html  

 

这个主要说了几个场合 特别适合用bloom  filter

 

http://my.oschina.net/xtxb/blog/3853

 

这个主要讲了下  counting bloom filter

 

 

 

这个题是否适合mapReduce呢 分块处理

海量数据相似数据查询方法
霜叶的博客
02-18 1979
海量文本场景，如何寻找一个doc的topn相似doc，一般存在2个问题，1)、两两对比时间o(n^2)2)、高维向量比较比较耗时。文本集可以看成(doc,word)稀疏矩阵，一般常见的方法是构建到排索引，然后进行归并。
Java海量数据处理算法
炎溟墨的博客
09-04 3474
文章目录Hash法Bit-map法Bloom filter法数据库优化法倒排索引法外部排序法trie树双层桶法MapReduce法 Hash法 在处理海量数据的过程中,使用hash法一般可以快速存取,统计某些数据,将大量数据进行分类,例如提取某日访问网站次数最多的IP地址等. 常用散列函数的构建方法如下: 直接寻址法 取关键字或关键字的某个线性函数值为散列地址,即h(key)=key或h(k...
海量数据匹配 数据库
10-21
可以直接运行，海量数据读取、匹配和查询 完成了资源的有效控制以及数据库的读取
基于Bloom Filter的海量数据分布式快速匹配算法研究.pdf
08-11
#资源达人分享计划#
大数据算法系列9:字符串匹配问题，海量字符串处理
只是甲的博客
11-02 1303
Java 数据 算法 哈希算法
Bit-Map实现海量数据映射的简单算法
超纯的小白兔
10-04 5178
Bit-Map实现海量数据映射的简单算法 (转自张季伦空间)      最近一直在搞搜索引擎,准确的说是丢了一个月又开始鼓捣搜索引擎,在做避免网页重复搜索时遇到了困难;打算用hash来映射url字符串从而避免重复搜索(神马是hash我就不重复了,自己补数据结构去),但是考虑到网页url的海量性,做一个demo的搜索引擎出来也不要太寒酸,所以设计的网页索引量预计在数千万到数亿左右,如果用朴素的ha
5、redis之bloom（布隆）过滤器
qq_52720916的博客
03-01 766
redis之bloom过滤器（解决击穿）
bloomFilter实现海量字符串查找
11-23
布隆过滤器实现的海量字符串查找，从一百万Email地址中查找给定的一百个是否存在
海量数据搜索、查询
知之可否
05-13 1847
1.有一篇英文文章(也就是说每个单词之间由空格分隔)，请找出“csdn”这个单词出现的次数。要求效率最高，并写出算法的时间级。方法一： 假设不区分大小写，由于英文字母有26个，因此，可以将单词映射为数字。csdn被映射成: 　　( ‘c ‘- ‘a ‘)*32*32*32+( ‘s ‘- ‘a ‘)*32*32+( ‘d ‘- ‘a ‘)*32+( ‘n ‘- ‘a ‘) 　　即：( ‘c ‘
分析图片相似度的软件,图片相似度比对算法
shirley67269的博客
08-21 2840
SIM=StructuralSIMilarity（结构相似性），这是一种用来评测图像质量的一种方法。由于人类视觉很容易从图像中抽取出结构信息,因此计算两幅图像结构信息的相似性就可以用来作为一种检测图像质量的好坏.首先结构信息不应该受到照明的影响,因此在计算结构信息时需要去掉亮度信息,即需要减掉图像的均值;其次结构信息不应该受到图像对比度的影响,因此计算结构信息时需要归一化图像的方差;最后我们就可以对图像求取结构信息了,通常我们可以简单地计算一下这两幅处理后的图像的相关系数.然而图像质量的好坏也受到亮度信息和
海量文本相似度匹配
fkyyly的专栏
12-14 2892
1 词与词之间的匹配（主要用于分词，单词补全，模板匹配） 1.1 一对一 KMP 1.2一对多 前缀树 1.3多对多 给一个字典，再给一个m长的文本（m长的文本里面包含很多的词），问这个文本里出现了字典里的哪些字。 1.3.1 方法一：使用HashMap复杂度是O(maxLengh(word)*length(str))这样和字典的大小没有关系 1.3.2 方法二：AC自动机 ht...
海量数据处理之基本方法
热门推荐
yaotinging的专栏
04-13 1万+
2013年9月18日 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 1．Hash法 Hash一般被翻译为哈希，也被称为散列，它是一种映射关系，即给定一个数据元素，其关键字为key，按一个确定的哈希函数Hash计算出h
【数据应用技巧】基于快速GeoHash，实现海量商品与商圈的高效匹配
数据产品笔记
07-26 876
案例来源：@阿里技术 案例地址：https://mp.weixin.qq.com/s/vwhetMpQllczILptBNcoWg   0. 背景：闲鱼每天都有海量商品位置（点数据）与大量商圈（面数据）的匹配问题，如果计算每个点落在哪个面里，需要的计算复杂度非常高   1. 目标：在尽可能保持精度的前提下，快速判断每个商品位置（点数据）属于哪个商圈（面数据）   2. 方法：   ...
海量数据搜索---搜索引擎
weixin_34297300的博客
11-13 636
在我们平常的生活工作中，百度、谷歌这些搜索网站已经成为了我们受教解惑的学校，俗话说的好，有问题找度娘。那么百度是如何在海里数据中找到自己需要的数据呢，为什么他搜索的速度如此之快，我们都知道是因为百度的搜索引擎，那么搜索引擎到底是个什么东西呢？可能有的程序员会想到es，但是并不能代表搜索引擎，它只是其中的一种工具，不过这种工具确实好用，效率很高。　　本文会向大家讲述搜索引擎的基本知识以及中文分词的一...
Bloom过滤器
斌斌(Java)
12-23 1465
Bloom过滤器是一个允许用户描述特定的关键词组合而不必精确表述的基于概率的过滤方法。它能让用户在有效搜索关键词的同时保护他们的隐私。1970年，它由布隆提出的。实际上它是由一个很长的二进制向量和一系列随意映射函数组成。它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。它能够告诉你某个元素一定不在集合内或可能在集合内。
海量数据处理之字符串处理
sinat_29844779的博客
06-03 534
#include #define MAX 26 using namespace std; struct Node{ bool isStr; Node *next[MAX]; }; void insert(Node *root,const char *s) { if(root==NULL||s=='\0') return; size_t i; Node *p = root; whi
海量数据处理方法：Bloom Filter与更多策略解析
本文主要总结了处理大数据量和海量数据的各种方法，包括Bloom Filter、哈希、位图、堆、双层桶划分、数据库索引、倒排索引、外排序以及Trie树等。文章针对每种方法的适用范围、要点和实例进行了详细阐述，旨在提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值