Hbase之Bloom Filter

最新推荐文章于 2023-07-26 09:28:25 发布

蜗牛程序

最新推荐文章于 2023-07-26 09:28:25 发布

阅读量794

点赞数

CC 4.0 BY-SA版权

分类专栏： Hbase之Bloom Filter 文章标签： Hbase

本文链接：https://blog.youkuaiyun.com/weixin_38244018/article/details/98182923

本文介绍了布隆过滤器（Bloom Filter）的基本概念，它是一种用于判断元素是否存在于集合的数据结构，允许一定错误率。在Hbase中，Bloom Filter用于提升随机读取性能，减少了查询时间，但会增加存储开销。Hbase支持在列族级别配置Bloomfilter，并提供了不同类型的Bloom过滤器供选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是布隆过滤器（Bloom Filter）

在允许一定的错误率的情况下，用于判断一个元素是否属于一个集合。

bloom fliter是一种空间效率很高的随机数据结构，初始状态时，bloom filter是一个包含m位的位数组（值为0），当有元素写入时，通过k个hash函数将这个元素映到这个位数组中，映射的位置设置为1。当判断一个元素是否存在时，用同样的方式进行映射，当映射的位置在这个位数组的值全部为1时，则认为该元素是存在的。

举例：
假设将x，y，z三个关键信息存入表中，判断w是否存在。

写入数据。x，y，z存入时，通过hash函数获得对应的位向量，写入到位数组中。
查找数据。对w同样进行hash函数获取对应的位向量，判断位数组中对应的位置是否全为1
如果是，则表明w存在表中
如果不是，则表明w不存在表中
在这里插入图片描述

Hbase中使用布隆过滤器

布隆过滤是Hbase系统中的高级功能，它能够减少特定访问模式下的查询时间。但是，由于这种模式增加了内存和存储的负担，这个模式被默认为关闭状态。
由于列的数量远远多于行的数量（除非每行只有一列），使用最后一个选项ROWCOL会占用大量的空间。与仅仅只有行的模式相比，行/列组合形式的粒度无疑更细。

布隆过滤器的作用主要用于提升Hbase的读性能，但是会牺牲一定的存储空间。
HBase利用Bloomfilter来提高随机读（Get）的性能，对于顺序读（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为ROWCOL，对于指定了qualifier的Scan有一定的优化，但不是那种直接过滤文件，排除