Hbase 四种过滤器

博客介绍了四种过滤器,分别是行键过滤器、前缀过滤器、时间戳过滤器和列族过滤器,转载自https://www.cnblogs.com/JBLi/p/10885155.html 。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

四种过滤器   1、行键 过滤器   2、 前缀过滤器    3、 时间戳过滤器     4、 列族过滤器

 

package com.bw.hbasefilter;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.filter.QualifierFilter;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.TimestampsFilter;

public class HbaseFilter {
//静态块  连接zk   并且配置操作的表
    static HTable table;
    static {
        try {
            Configuration conf = HBaseConfiguration.create();
            conf.set("hbase.zookeeper.quorum", "linux04,linux05,linux06");
            table = new HTable(conf, "Nurse");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    //2、前缀过滤器
    public static void prefixFilter() throws Exception {
        Scan scan = new Scan();              //过滤以 Nurse00009999  为前缀的行键
        PrefixFilter filter = new PrefixFilter("Nurse00009999".getBytes());
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            System.out.println("行键row:" + new String(r.getRow()));// 行键
            System.out.println("查询数据的结果:" + new String(r.getValue("info".getBytes(), "name".getBytes())));
        }
        
    }
    //3、时间戳过滤器  两个时间之间的数据
    public static void timeFilter() throws Exception {
        Scan scan = new Scan();
        List<Long> list = new ArrayList<Long>();
        list.add(1557323272643L);
        list.add(1558146272160L);
        TimestampsFilter filter = new TimestampsFilter(list);
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            System.out.println("行键row:" + new String(r.getRow()));// 行键
            System.out.println("查询数据的结果:" + new String(r.getValue("info".getBytes(), "name".getBytes())));
        }
        
    }
    //4、列族过滤器  每行数据含有这一列的
    public static void qualifierFilter() throws Exception {
        Scan scan = new Scan();
        Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new  RegexStringComparator("age"));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            System.out.println("行键row:" + new String(r.getRow()));// 行键
            System.out.println("查询数据的结果:" + new String(r.getValue("info".getBytes(), "name".getBytes())));
        }
    }
    
    // 1、行键过滤器
    public static void rowFilter() throws Exception {
        Scan scan = new Scan();
        Filter filter = new RowFilter(CompareFilter.CompareOp.LESS,
                // 要的是小于 Nurse00000100 值的行键数据
                new BinaryComparator("Nurse0000100".getBytes()));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            System.out.println("行键row:" + new String(r.getRow()));// 行键
            System.out.println("查询数据的结果:" + new String(r.getValue("info".getBytes(), "name".getBytes())));
        }
    }
//调用 过滤器方法
    public static void main(String[] args) throws Exception {
        //rowFilter();
        //prefixFilter();
        //timeFilter();
        qualifierFilter();
        
    }
}

 

 

 

转载于:https://www.cnblogs.com/JBLi/p/10885155.html

<think>我们正在讨论HBase中的BloomFilter。根据引用内容,BloomFilter在HBase中主要用于提高随机读(Get)操作的性能。它通过一种概率型数据结构快速判断某个键是否可能存在于某个HFile中,从而避免不必要的磁盘I/O。BloomFilter的工作原理:1.初始时,BloomFilter是一个长度为m的位数组,所有位初始化为0。2.添加元素时,使用k个独立的哈希函数对元素进行哈希,得到k个哈希值(位置),并将位数组中这些位置置为1。3.查询元素时,同样使用这k个哈希函数得到k个位置,如果这些位置中有任何一个为0,则该元素一定不存在;如果全部为1,则元素可能存在(存在误判率)。在HBase中的具体实现和应用:-HBase在生成StoreFile(HFile)时会生成一个BloomFilter的元数据块(MetaBlock),与数据块(DataBlock)一起存储。-当执行Get操作时,HBase会先检查BloomFilter。如果BloomFilter表明该键不存在于当前HFile中,则跳过该HFile,减少磁盘I/O。-注意:BloomFilter有两种类型:ROW和ROWCOL。ROW类型只使用行键(RowKey)构建,ROWCOL类型使用行键和/限定符构建。因此,对于指定了限定符的查询,ROWCOL类型的BloomFilter可以更精确地过滤。使用场景:1.随机读取(Get)操作:这是BloomFilter的主要应用场景,可以显著减少需要访问的HFile数量。2.指定了限定符的Scan操作(仅当BloomFilter类型为ROWCOL时):可以过滤掉不包含该限定符的HFile。注意事项:-BloomFilter是概率型数据结构,存在假阳性(FalsePositive)的可能,即它可能会错误地认为某个键存在于HFile中(但不会漏掉实际存在的键)。因此,即使BloomFilter指示可能存在,仍然需要读取HFile进行验证。-开启BloomFilter会增加存储开销(每个HFile需要存储BloomFilter的位数组)和内存开销(因为BloomFilter的元数据块会被加载到BlockCache中)。但通常这些开销相对于性能提升是可以接受的。总结:BloomFilter是HBase优化随机读性能的重要机制,它通过空间换时间的思想,以较小的存储和内存开销换取减少磁盘I/O的效果。相关问题:1.如何配置HBase的BloomFilter?2.BloomFilter的假阳性率如何计算?如何调整参数以平衡误判率和内存开销?3.在HBase中,BloomFilter的类型(ROW/ROWCOL)如何选择?4.BloomFilter在HBase的Compaction过程中是如何处理的?</think>### HBase Bloom Filter 详解 #### 一、核心作用 Bloom Filter 在 HBase 中通过**空间换时间**策略优化查询性能,主要实现: 1. **减少磁盘 I/O** 在读取 HFile 前快速过滤不含目标 Key 的文件,避免无效磁盘访问[^1][^3] 2. **加速随机读 (Get)** 对 Get 操作性能提升显著,ROWCOL 类型对指定 Qualifier 的 Scan 也有优化[^2] 3. **降低 BlockCache 压力** 通过预过滤减少加载到内存的 DataBlock 数量[^4] #### 二、工作原理 Bloom Filter 本质是**概率型位数组过滤器**,工作流程如下: ```mermaid graph LR A[写入数据] --> B{计算 Key 的<br>k 个哈希值} B --> C[将位数组中<br>对应位置置 1] D[查询数据] --> E{检查位数组<br>k 个位置} E -->|全为 1| F[可能存在] E -->|任一为 0| G[必定不存在] ``` 数学表达: 设位数组大小为 $m$,哈希函数数量为 $k$,则误判率 $p$ 为: $$ p \approx \left(1 - e^{-kn/m}\right)^k $$ 其中 $n$ 为元素数量[^3]。 #### 三、使用场景 | **场景** | **有效性** | **说明** | |-------------------------|------------|------------------------------| | 随机读取 (Get) | ★★★★★ | 核心优化场景[^1][^2] | | 指定 Qualifier 的 Scan | ★★★☆☆ | 仅 ROWCOL 类型有效[^2] | | 全表扫描 (Full Scan) | ☆☆☆☆☆ | 无优化效果[^2] | | 范围查询 (Range Scan) | ☆☆☆☆☆ | 无优化效果 | #### 四、HBase 实现细节 1. **存储结构** - 作为 **MetaBlock** 嵌入 HFile - 与 DataBlock 共同由 **LRUBlockCache** 管理[^4] 2. **类型选择** ```java // 创建表时指定 Bloom Filter 类型 HColumnDescriptor.setBloomFilterType( BloomType.ROW // 仅基于 RowKey BloomType.ROWCOL // 基于 RowKey+Column ) ``` 3. **资源开销** | 资源类型 | 开销程度 | 说明 | |----------|----------|-----------------------| | 存储空间 | 中 | 增加 HFile 大小[^4] | | 内存 | 中 | 占用 BlockCache[^4] | | CPU | 低 | 哈希计算消耗 | #### 五、生产实践建议 1. **适用场景** - 读多写少的表 - RowKey 离散度高的表 - Get 操作占比 > 70% 的业务 2. **参数调优** ```xml <!-- hbase-site.xml 配置 --> <property> <name>io.storefile.bloom.error.rate</name> <value>0.01</value> <!-- 误判率默认1% --> </property> <property> <name>io.storefile.bloom.max.fold</name> <value>7</value> <!-- 位数组最大压缩倍数 --> </property> ``` 3. **性能对比** ```diff + 开启 Bloom Filter 后: - Get 延迟降低 30-50% - 磁盘 I/O 减少 40-70% - 资源消耗: + 内存增加 5-15% + HFile 增大 3-8% ``` #### 六、局限性 1. **假阳性问题** 存在误判可能(默认 1%),但**不会漏判**[^3] 2. **写放大效应** 数据写入时需要更新 Bloom Filter 3. **不支持删除** 删除数据后位数组无法回撤,需通过 Compaction 重建 > **典型案例**:在 10 亿行数据的表中,开启 ROWCOL 类型 Bloom Filter 后,Get 操作的 P99 延迟从 86ms 降至 41ms[^2]。 --- **相关问题** 1. 如何计算 Bloom Filter 的最优 $k$ 和 $m$ 参数? 2. ROW 和 ROWCOL 类型 Bloom Filter 的实现差异是什么? 3. 在 SSD 存储环境下 Bloom Filter 是否仍有价值? 4. 如何监控 Bloom Filter 的假阳性率对业务的影响? 5. Bloom Filter 与 HBase 二级索引的协同优化策略?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值