1.. 布龙过滤器,主要还是检查一个数据是否在海量数据中的方法
(1)应用场景:
字处理软件中,需要检查一个英语单词是否拼写正确
在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上
在网络爬虫里,一个网址是否被访问过
yahoo, gmail等邮箱垃圾邮件过滤功能
(2)布隆过滤器原理:
布隆过滤器(Bloom Filter)的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。具体的操作流程:假设集合里面有3个元素{x, y, z},哈希函数的个数为3。首先将位数组进行初始化,将里面每个位都设置位0。
对于集合里面的每一个元素,将元素依次通过3个哈希函数进行映射,每次映射都会产生一个哈希值,这个值对应位数组上面的一个点,然后将位数组对应的位置标记为1。
(3)布隆过滤器添加元素:
将要添加的元素给k个哈希函数
得到对应于位数组上的k个位置
将这k个位置设为1
(4)布隆过滤器查询元素:
C++面试:海量数据处理与布隆过滤器解析

本文介绍了在C++面试中关于海量数据处理的问题,重点讲解了布隆过滤器的原理和应用,以及面对40亿个不重复整数判断是否存在特定数的解决方案,包括位图法和二分查找策略。同时,讨论了在淘点点场景下查找最近100家商户的高效算法思想。
最低0.47元/天 解锁文章
326

被折叠的 条评论
为什么被折叠?



