Hbase 布隆过滤器BloomFilter介绍

最新推荐文章于 2024-10-23 08:41:04 发布
最新推荐文章于 2024-10-23 08:41:04 发布
阅读量795 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cssdongl/article/details/77750487
本文介绍了HBase中Bloom Filter的工作原理和作用，它用于提高随机读取性能，通过预计算的哈希位图过滤掉不必要的StoreFile。Bloom Filter在存储上存在一定开销，且分为ROW和ROWCOL两种控制粒度，适用于存在大量不存在键的查询场景。源码解析部分揭示了Bloom Filter如何在get和scan操作中发挥作用，强调了正确匹配Bloom Filter类型的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载自 :http://blog.youkuaiyun.com/opensure/article/details/46453681

1、主要功能

提高随机读的性能

2、存储开销

bloom filter的数据存在StoreFile的meta中，一旦写入无法更新，因为StoreFile是不可变的。Bloomfilter是一个列族（cf）级别的配置属性，如果你在表中设置了Bloomfilter，那么HBase会在生成StoreFile时包含一份bloomfilter结构的数据，称其为MetaBlock；MetaBlock与DataBlock（真实的KeyValue数据）一起由LRUBlockCache维护。所以，开启bloomfilter会有一定的存储及内存cache开销。 

3、控制粒度

a)ROW

根据KeyValue中的row来过滤storefile 

举例：假设有2个storefile文件sf1和sf2， 

sf1包含kv1（r1 cf:q1 v）、kv2（r2 cf:q1 v） 

sf2包含kv3（r3 cf:q1 v）、kv4（r4 cf:q1 v） 

如果设置了CF属性中的bloomfilter为ROW，那么get(r1)时就会过滤sf2，get(r3)就会过滤sf1 

b)ROWCOL

根据KeyValue中的row+qualifier来过滤storefile

举例：假设有2个storefile文件sf1和sf2， 

sf1包含kv1（r1 cf:q1 v）、kv2（r2 cf:q1 v） 

sf2包含kv3（r1 cf:q2 v）、kv4（r2 cf:q2 v） 

如果设置了CF属性中的bloomfilter为ROW，无论get(r1,q1)还是get(r1,q2)，都会读取sf1+sf2；而如果设置了CF属性中的bloomfilter为ROWCOL，那么get(r1,q1)就会过滤sf2，get(r1,q2)就会过滤sf1

4、常用场景

1、根据key随机读时，在StoreFile级别进行过滤

2、读数据时，会查询到大量不存在的key，也可用于高效判断key是否存在

5、举例说明

假设x、y、z三个key存在于table中，W不存在

使用Bloom Filter可以帮助我们减少为了判断key是否存在而去做Scan操作的次数

step1）分别对x、y、z运算hash函数取得bit mask，写到Bloom Filter结构中

step2）对W运算hash函数，从Bloom Filter查找bit mask

   如果不存在：三个Bit位至少有一个为0，W肯定不存在该（Bloom Filter不会漏判）

   如果存在   ：三个Bit位全部全部等于1，路由到负责W的Region执行scan，确认是否真的存在（Bloom Filter有极小的概率误判）

最低0.47元/天 解锁文章

200万优质内容无限畅学
hbase之布隆过滤器
qq_38180223的博客
07-05 9757
一、布隆过滤器布隆过滤器（Bloom Filter）是1970由布隆提出的。通过一个很长的二进制向量于一系列随即哈希函数生成。下面我就将通过以下小节来介绍布隆过滤器：1、原因与结构解析2、数学公式1.1 原因与结构解析首先，我们应当知道，hash是内存中使用的经典数据结构。当我们需要判读一个元素是否在一个集合当中时，我们可以用哈希表来判断。在集合较小的情况下，hash是可行而且高效的。然而数据量以...
Hbase中的BloomFilter（布隆过滤器）
weixin_30332241的博客
09-09 449
（1） Bloomfilter在hbase中的作用 　　　　Hbase利用bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有　　　　一定的优化） （2） Bloomfilter在hbase中的开...
HBase-BloomFilter布隆过滤器
互联网知识分享
05-06 1297
N.1 什么是布隆过滤器1）本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。2）相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。N.2 数据结构1）布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：下面的位置叫做bit位，bit为对应的位置是0，当然长度是自定义的，下面设置为8。
hbase 布隆过滤器
疯狂的矩阵
12-23 370
布隆过滤器： 1.原理？ 数据块索引提供了一个有效的方法，在访问一个特定的行时用来查找应该读取的HFile的数据块。但是它的效用是有限的。HFile数据块的默认大小是64KB，这个大小不能调整太多。 如果你要查找一个短行，只在整个数据块的起始行键上建立索引无法给你细粒度的索引信息。例如，如果你的行占用100字节存储空间，一个64KB的数据块包含(64 * 1024)/100 = 6...
布隆过滤器（Bloom Filter）详解
天冬忘忧的博客
10-10 2180
布隆过滤器是 1970 年由布隆提出的，它实际上是一个很长的二进制向量和一系列随机映射函数组成，主要用于判断一个元素是否在一个集合中。它不存储数据本身，仅存储哈希结果取模运算后的位标记，因此占用内存小，适合海量数据场景。其优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
spark 布隆过滤器(bloomFilter)
u010990043的博客
05-29 5350
        数据过滤再很多场景都会应用的到，特别实在大数据环境下。在数据量很大的场景实现过滤或者全局去重，需要存储的数据量和计算代价时非常的庞大的。很多小伙伴第一念头肯定会想到布隆过滤器，有一定的精度损失，但是存储性能和计算性能可以达到集合级别的提升。很多第三方框架也实现了相应的功能，比如hbase框架实现的布隆过滤器性能也是非常的棒，redis也可以实现相应的功能。        我们在做流...
布隆过滤器 Bloom Filter
lqfstart1的博客
10-23 615
​ 布隆过滤器实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。与HashMap相比，布隆过滤器由于不用存储key值，所以占用内存较少，对于大数据量的时候对比比较明显。
Hbase布隆过滤（Bloom Filters）
主要写大数据集群一线运维和学习工作经验
10-08 932
目录 Schema Design Bloom Filters 什么时候使用 开启布隆过滤 配置Bloom过滤器的服务器范围 Reading from HBase Bloom Filters Bloom StoreFile封装 Bloom StoreFile配置 2版本中的Bloom filters 使用小结 Schema Design Bloom Filters 它是...
HBase的BloomFilter布隆过滤器
互联网知识分享
07-26 613
布隆过滤器通过使用一个位数组和多个哈希函数，将集合中的元素映射到位数组中的多个位置上。当要判断某个元素是否在集合中时，将该元素通过多个哈希函数映射到位数组的多个位置上，如果所有位置上的值都为。之间的小数，表示当判断某个元素在集合中时，实际上该元素不在集合中的概率。误判率越低，但位数组的长度也会增加，占用的空间也会增加，默认值为。布隆过滤器具有一定的误判率，即可能存在判断某元素在集合中，但实际上该元素不在集合中的情况。）占用空间小，可以通过调整位数组的长度和哈希函数的个数来控制误判率和空间占用。
HBase的布隆过滤器详解
weixin_43179522的博客
08-12 2912
HBase的布隆过滤器详解1.布隆过滤器的简单介绍2.布隆过滤器的原理分析2.1 哈希表存在的问题2.2 布隆过滤器的原理2.2.1 原理详解2.2.2 布隆过滤器失误率的调节2.2.3 布隆过滤器的完整体3.HBase是如何使用布隆过滤器的3.1 HBase的基本回顾3.2 HBase的块索引机制及存在的问题3.3 HBase布隆过滤器的作用4.大战后的悠闲时光4.1 布隆过滤器的存储在哪?4.2 如何开启布隆过滤器4.3 采用布隆过滤器后, HBase如何get数据4.4 采用ROW还是ROWCOl布隆
HBase的布隆过滤器
马丘
04-27 250
这里有好文：https://www.jianshu.com/p/2f696bbffb98 但是要强调几点： 在使用布隆过滤器时，需要注意两个问题： 什么时候应该使用布隆过滤器？根据上面的描述，布隆过滤器的主要作用，是帮助HBase跳过那些显然不包括所查找数据的底层文件。那么，当所查找的数据均匀分布在所有文件中（当用户定期更新所有行时，就可能导致这种情况），布隆过滤器的作用就微乎其微，反而浪费了存...
Hbase之布隆过滤器
Baron_ND的博客
11-17 403
今天让我们来瞅瞅布隆过滤器到底是如何实现的。大概了解，要想知道深入的算法推导请略过 在hbase中，我们可以通过rowkey将查询的某个值定位到一个具体的region，但是每个store里面是保存了很多的storefile的，我们难道要一个一个的去查询他是保存到那个storefile里面的么，当然不是。这里呢，对应的每个storefile都有一个布隆过滤器，它为我们提供了一个反向索引机制，会告诉...
HBase之BloomFilter
吃果冻不吐果冻皮
07-09 4572
HBase的Get/Scan操作流程 hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO。BloomFilter作用BloomFilter在HBase中的作用？ HBase**利用BloomFilter来提高随机读**（Get）的性能，对于顺序（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为RO
Hbase 高级特性Bloom filter
scuwangjianfei
04-15 3395
Bloom filter 简单而言就是对hash 表的创新，用在 Hbase 中可以有有效减少磁盘IO次数。 图片来源：hbase 权威指南 下面是一个java 的简单实现package basic; /* * @author: wjf * @version: 2016年4月15日 下午10:05:28 */import java.util.BitSet;public class Bloom
hbase scan和bloom filter的讨论
系统运维
01-09 378
在工作中大家对hbase的bloom filter是否能作用于scan展开讨论。在没讨论前，我还真没想过这个问题，想当然的以为bloom filter肯定可以为scan剔除掉不需要的hfile。但Google了下才发现事实不是如此！ 首先，学习了以下2篇文章： hbase对bf的理解和使用 http://zjushch.iteye.com/blog/1530143 hbase的主要代码...
布隆过滤器在hbase的应用
凉茶铺的博客
10-31 551
介绍了如何在HBase实现布隆过滤器的思路以及好处
什么是布隆过滤器
最新发布
07-31
### 布隆过滤器的定义 布隆过滤器（Bloom Filter）是一种**概率型数据结构**，用于判断一个元素是否属于一个集合。它特别擅长处理大规模数据的快速查找，具有高效的空间利用率和查询速度。布隆过滤器由布隆在 1970 年提出，它实际上是一个很长的二进制向量和一系列随机映射函数（哈希函数）组成[^2]。该数据结构不存储数据的明细内容，仅仅标识一个数据是否存在的信息[^3]。 ### 布隆过滤器的工作原理 布隆过滤器的核心结构是一个**位数组**（bit array）和多个**哈希函数**。当一个元素被插入到布隆过滤器中时，它会被多个哈希函数映射到位数组中的多个位置，并将这些位置的值设为 1。查询一个元素是否存在时，同样使用这些哈希函数计算出多个位置，如果这些位置的值都为 1，则认为该元素**可能存在于集合中**；如果其中任意一个位置的值为 0，则可以确定该元素**一定不存在于集合中**[^1]。 例如，假设布隆过滤器使用了三个哈希函数，那么插入一个元素时，这三个哈希函数会生成三个不同的索引值，并将对应的位数组中的这三个位置设置为 1。查询时，如果这三个位置的值都为 1，则认为该元素可能已经存在；如果其中任何一个位置的值为 0，则可以确定该元素不存在[^4]。 这种机制使得布隆过滤器在**空间效率和查询时间**上远远超过一般的算法，但同时也带来了**一定的误判率**（即认为一个不存在的元素存在）和**无法删除元素**的问题[^2]。 ### 代码示例：布隆过滤器的简单模拟 以下是一个简化版的布隆过滤器实现，用于演示其基本逻辑： ```python import hashlib class BloomFilter: def __init__(self, size, hash_num): self.size = size # 位数组大小 self.hash_num = hash_num # 哈希函数数量 self.bit_array = [0] * size # 初始化位数组 def add(self, item): for seed in range(self.hash_num): index = self._hash(item, seed) self.bit_array[index] = 1 def contains(self, item): for seed in range(self.hash_num): index = self._hash(item, seed) if self.bit_array[index] == 0: return False # 一定不存在 return True # 可能存在 def _hash(self, item, seed): # 使用不同的种子生成不同的哈希值 hash_value = hashlib.sha256(f"{item}{seed}".encode()).hexdigest() return int(hash_value, 16) % self.size ``` 示例使用： ```python bf = BloomFilter(size=100, hash_num=3) bf.add("hello") print(bf.contains("hello")) # 输出: True print(bf.contains("world")) # 输出: False（可能误判为True） ``` 该实现仅用于演示目的，实际应用中应使用更成熟的库，如 Google 的 `Guava` 或 `pybloom-live` 等[^4]。 --- ### 布隆过滤器的优缺点 布隆过滤器的优点包括： - **空间效率高**：相比传统集合结构，布隆过滤器占用的内存更少[^1]。 - **查询速度快**：由于不涉及复杂的查找逻辑，布隆过滤器的查询时间接近常数级。 - **无需存储元素本身**：只记录元素是否存在，适用于隐私敏感或存储受限的场景[^4]。 其缺点包括： - **存在误判率**：可能会将不存在的元素误判为存在，但不会将存在的元素误判为不存在[^3]。 - **无法删除元素**：一旦元素被添加到布隆过滤器中，无法直接删除，除非使用变种如计数布隆过滤器。 - **不支持动态扩容**：初始容量固定，若数据量超出预期，误判率会显著上升[^1]。 --- ### 布隆过滤器的应用场景 布隆过滤器适用于需要对大规模数据进行高效查询的场景，例如： - **缓存穿透检测**：防止恶意攻击者通过不存在的键频繁查询数据库。 - **垃圾邮件过滤**：快速判断一封邮件是否可能是垃圾邮件。 - **黑名单过滤**：检查用户是否在黑名单中。 - **网页判重**：搜索引擎中用于判断某个网页是否已经被索引过。 - **数据库查询优化**：如 HBase、Cassandra 等数据库使用布隆过滤器减少不必要的磁盘访问。 --- ### 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值