hbase的过滤 Filter 之PrefixFilter

首先来can下表:

hbase(main):004:0> scan 'scores'
ROW COLUMN+CELL
zkb column=course:, timestamp=1356625587787, value=90
zkb column=course:art, timestamp=1356625587791, value=87
zkb column=course:math, timestamp=1356625587789, value=97
zkb column=grade:, timestamp=1356625587776, value=5
1 row(s) in 0.2280 seconds


然后是写的一个scan filter 函数:

public static void scanValueByFilter(String tableName,String row) throws IOException{
HTable table = new HTable(conf, tableName);
Scan scan = new Scan();
scan.setFilter(new PrefixFilter(row.getBytes()));
ResultScanner resultScanner = table.getScanner(scan);
for(Result rs:resultScanner){

for(KeyValue kv:rs.raw()){
StringBuilder sb = new StringBuilder();
System.out.println(sb.append("Row/Family:qual: ").append(new String(kv.getRow())).append("/").append(new String(kv.getFamily())).append(":").append(new String(kv.getQualifier())));
System.out.println("kv.getFamily(): "+new String(kv.getFamily()));
System.out.println("kv.getRow(): "+new String(kv.getRow()));
System.out.println("kv.getQualifier(): "+new String(kv.getQualifier()));
System.out.println("kv.getTimestamp(): "+new String(String.valueOf(kv.getTimestamp())));
System.out.println(new String(kv.getValue()));
System.out.println("---------------------------------");

}
}

}

直接调用: HBaseClient.scanValueByFilter(tablename,"zkb");

结果:

Row/Family:qual: zkb/course:
kv.getFamily(): course
kv.getRow(): zkb
kv.getQualifier():
kv.getTimestamp(): 1356626264657
90
---------------------------------
Row/Family:qual: zkb/course:art
kv.getFamily(): course
kv.getRow(): zkb
kv.getQualifier(): art
kv.getTimestamp(): 1356626264680
87
---------------------------------
Row/Family:qual: zkb/course:math
kv.getFamily(): course
kv.getRow(): zkb
kv.getQualifier(): math
kv.getTimestamp(): 1356626264674
97
---------------------------------
Row/Family:qual: zkb/grade:
kv.getFamily(): grade
kv.getRow(): zkb
kv.getQualifier():
kv.getTimestamp(): 1356626264637
5


### HBase 过滤器概述 HBase 提供了一种强大的机制——过滤器(Filter),用于在服务端对数据进行筛选,从而减少不必要的网络传输和客户端处理压力[^4]。通过使用 HBase过滤器语言,用户能够灵活地定义复杂的过滤逻辑并将其应用到查询中[^1]。 #### 常见的 HBase 过滤器分类 HBase 中的过滤器主要分为两类:比较过滤器和专用过滤器[^5]。以下是具体介绍: ##### 1. 比较过滤器 比较过滤器基于指定字段的内容与预设条件之间的关系来进行匹配。这些过滤器支持多种比较运算符以及不同的 Comparator 类型。常见的比较过滤器包括但不限于 BinaryComparator、BinaryPrefixComparator 和 RegexStringComparator 等[^3]。 - **BinaryComparator**: 对字节序列进行精确匹配。 - **BinaryPrefixComparator**: 匹配字节序列的前缀部分。 - **RegexStringComparator**: 利用正则表达式实现字符串模式匹配。 ##### 2. 专用过滤器 专用过滤器针对某些特殊场景设计,功能更加聚焦于具体的业务需求。例如 SingleColumnValueFilter 是一种典型的专用过滤器,它可以根据某一列的具体值决定是否保留该行记录[^2]。 #### 示例代码展示 下面提供几个典型过滤器的应用实例以帮助理解其实际用途。 ```java // 导入必要的包 import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.filter.*; public class HBaseFilterExample { public static void main(String[] args) throws Exception { // 创建表连接对象 Connection connection = ConnectionFactory.createConnection(config); Table table = connection.getTable(TableName.valueOf("my_table")); Scan scan = new Scan(); // 添加 RowKey 前缀过滤PrefixFilter prefixFilter = new PrefixFilter(Bytes.toBytes("prefix_")); scan.setFilter(prefixFilter); // 或者添加单列值过滤器 SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter( Bytes.toBytes("cf"), // 列族名 Bytes.toBytes("qualifier"), // 列限定符 CompareOperator.EQUAL, // 比较操作符 new BinaryComparator(Bytes.toBytes("value"))); // 预期值 singleColumnValueFilter.setFilterIfMissing(true); // 如果缺少此列,则丢弃整行 scan.setFilter(singleColumnValueFilter); ResultScanner results = table.getScanner(scan); for (Result result : results) { System.out.println(result); } results.close(); table.close(); connection.close(); } } ``` 上述代码片段展示了如何利用 `PrefixFilter` 实现按 RowKey 前缀查找的功能;同时也演示了设置 `SingleColumnValueFilter` 来依据某列的实际取值进一步缩小检索范围的方法。 ### 总结说明 通过对 HBase 过滤器的学习可以看出,在大数据环境下合理运用此类工具不仅可以显著提升性能表现还能简化开发流程。无论是简单的 row key 范围界定还是复杂多样的属性组合约束都可以借助相应的内置组件轻松达成目标。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值