hbase RowFilter如何根据rowkey查询以及实例实现代码

最新推荐文章于 2025-06-15 20:34:42 发布
最新推荐文章于 2025-06-15 20:34:42 发布
阅读量1w 收藏 6
点赞数 3
分类专栏： hbase
本文介绍HBase中RowFilter的使用方法，通过不同的Comparator实现RowKey的精确匹配、模糊查询及范围检索等功能。文章详细展示了如何利用BinaryComparator、RegexStringComparator等进行RowKey过滤，并提供实例代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题导读：
1.如何根据rowkey模糊查询？
2.如何使用Comparator过滤rowkey？
3.如何查询rowkey中包含有某字符串的数据?

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


RowFilter用于过滤row key
Operator Description
LESS 小于
LESS_OR_EQUAL 小于等于
[EQUAL 等于
NOT_EQUAL 不等于
GREATER_OR_EQUAL 大于等于
GREATER 大于
NO_OP 排除所有

Comparator Description
BinaryComparator 使用Bytes.compareTo()比较
BinaryPrefixComparator 和BinaryComparator差不多，从前面开始比较
NullComparator Does not compare against an actual value but whether a given one is null, or not  null.
BitComparator Performs a bitwise comparison, providing a BitwiseOp class with OR, and XORoperators.
RegexStringComparator 正则表达式
SubstringComparator 把数据当成字符串，用contains()来判断

  1. import java.io.IOException;

  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.hbase.HBaseConfiguration;
  5. import org.apache.hadoop.hbase.HColumnDescriptor;
  6. import org.apache.hadoop.hbase.HTableDescriptor;
  7. import org.apache.hadoop.hbase.client.HBaseAdmin;
  8. import org.apache.hadoop.hbase.client.HTable;
  9. import org.apache.hadoop.hbase.client.Put;
  10. import org.apache.hadoop.hbase.client.Result;
  11. import org.apache.hadoop.hbase.client.ResultScanner;
  12. import org.apache.hadoop.hbase.client.Scan;
  13. import org.apache.hadoop.hbase.filter.BinaryComparator;
  14. import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
  15. import org.apache.hadoop.hbase.filter.CompareFilter;
  16. import org.apache.hadoop.hbase.filter.Filter;
  17. import org.apache.hadoop.hbase.filter.RegexStringComparator;
  18. import org.apache.hadoop.hbase.filter.RowFilter;
  19. import org.apache.hadoop.hbase.filter.SubstringComparator;

  21. public class TestHbaseRowFilter {
  22.         String tableName = "test_row_filter";
  23.         Configuration config = HBaseConfiguration.create();

  25.         /**
  26.          * 部分代码来自hbase权威指南
  27.          * @throws IOException
  28.          */
  29.         public void testRowFilter() throws IOException {

  31.                 HTable table = new HTable(config, tableName);
  32.                 Scan scan = new Scan();

  34.                 System.out.println("小于等于row010的行");
  35.                 Filter filter1 = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL,
  36.                                 new BinaryComparator("row010".getBytes()));
  37.                 scan.setFilter(filter1);
  38.                 ResultScanner scanner1 = table.getScanner(scan);
  39.                 for (Result res : scanner1) {
  40.                         System.out.println(res);
  41.                 }
  42.                 scanner1.close();

  44.                 System.out.println("正则获取结尾为5的行");
  45.                 Filter filter2 = new RowFilter(CompareFilter.CompareOp.EQUAL,
  46.                                 new RegexStringComparator(".*5[        DISCUZ_CODE_0        ]quot;));
  47.                 scan.setFilter(filter2);
  48.                 ResultScanner scanner2 = table.getScanner(scan);
  49.                 for (Result res : scanner2) {
  50.                         System.out.println(res);
  51.                 }
  52.                 scanner2.close();

  54.                 System.out.println("包含有5的行");
  55.                 Filter filter3 = new RowFilter(CompareFilter.CompareOp.EQUAL,
  56.                                 new SubstringComparator("5"));
  57.                 scan.setFilter(filter3);
  58.                 ResultScanner scanner3 = table.getScanner(scan);
  59.                 for (Result res : scanner3) {
  60.                         System.out.println(res);
  61.                 }
  62.                 scanner3.close();

  64.                 System.out.println("开头是row01的");
  65.                 Filter filter4 = new RowFilter(CompareFilter.CompareOp.EQUAL,
  66.                                 new BinaryPrefixComparator("row01".getBytes()));
  67.                 scan.setFilter(filter4);
  68.                 ResultScanner scanner4 = table.getScanner(scan);
  69.                 for (Result res : scanner4) {
  70.                         System.out.println(res);
  71.                 }
  72.                 scanner3.close();
  73.         }

  75.         /**
  76.          * 初始化数据
  77.          */
  78.         public void init() {
  79.                 // 创建表和初始化数据
  80.                 try {
  81.                         HBaseAdmin admin = new HBaseAdmin(config);
  82.                         if (!admin.tableExists(tableName)) {
  83.                                 HTableDescriptor htd = new HTableDescriptor(tableName);
  84.                                 HColumnDescriptor hcd1 = new HColumnDescriptor("data");
  85.                                 htd.addFamily(hcd1);
  86.                                 HColumnDescriptor hcd2 = new HColumnDescriptor("url");
  87.                                 htd.addFamily(hcd2);

  89.                                 admin.createTable(htd);
  90.                         }

  92.                         HTable table = new HTable(config, tableName);

  94.                         table.setAutoFlush(false);
  95.                         int count = 50;
  96.                         for (int i = 1; i <= count; ++i) {
  97.                                 Put p = new Put(String.format("row%03d", i).getBytes());
  98.                                 p.add("data".getBytes(), String.format("col%01d", i % 10)
  99.                                                 .getBytes(), String.format("data%03d", i).getBytes());
  100.                                 p.add("url".getBytes(), String.format("col%01d", i % 10)
  101.                                                 .getBytes(), String.format("url%03d", i).getBytes());
  102.                                 table.put(p);
  103.                         }
  104.                         table.close();

  106.                 } catch (IOException e) {
  107.                         e.printStackTrace();
  108.                 }
  109.         }

  111.         /**
  112.          * @param args
  113.          * @throws IOException
  114.          */
  115.         public static void main(String[] args) throws IOException {
  116.                 TestHbaseRowFilter test = new TestHbaseRowFilter();
  117.                 test.init();
  118.                 test.testRowFilter();
  119.         }

  121. }
复制代码

输出结果
  1. 小于等于row010的行
  2. keyvalues={row001/data:col1/1364133382268/Put/vlen=7, row001/url:col1/1364133382268/Put/vlen=6}
  3. keyvalues={row002/data:col2/1364133382268/Put/vlen=7, row002/url:col2/1364133382268/Put/vlen=6}
  4. keyvalues={row003/data:col3/1364133382268/Put/vlen=7, row003/url:col3/1364133382268/Put/vlen=6}
  5. keyvalues={row004/data:col4/1364133382268/Put/vlen=7, row004/url:col4/1364133382268/Put/vlen=6}
  6. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
  7. keyvalues={row006/data:col6/1364133382268/Put/vlen=7, row006/url:col6/1364133382268/Put/vlen=6}
  8. keyvalues={row007/data:col7/1364133382268/Put/vlen=7, row007/url:col7/1364133382268/Put/vlen=6}
  9. keyvalues={row008/data:col8/1364133382268/Put/vlen=7, row008/url:col8/1364133382268/Put/vlen=6}
  10. keyvalues={row009/data:col9/1364133382268/Put/vlen=7, row009/url:col9/1364133382268/Put/vlen=6}
  11. keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}
  12. 正则获取结尾为5的行
  13. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
  14. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
  15. keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}
  16. keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}
  17. keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}
  18. 包行有5的行
  19. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
  20. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
  21. keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}
  22. keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}
  23. keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}
  24. keyvalues={row050/data:col0/1364133382268/Put/vlen=7, row050/url:col0/1364133382268/Put/vlen=6}
  25. 开头是row01的
  26. keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}
  27. keyvalues={row011/data:col1/1364133382268/Put/vlen=7, row011/url:col1/1364133382268/Put/vlen=6}
  28. keyvalues={row012/data:col2/1364133382268/Put/vlen=7, row012/url:col2/1364133382268/Put/vlen=6}
  29. keyvalues={row013/data:col3/1364133382268/Put/vlen=7, row013/url:col3/1364133382268/Put/vlen=6}
  30. keyvalues={row014/data:col4/1364133382268/Put/vlen=7, row014/url:col4/1364133382268/Put/vlen=6}
  31. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
  32. keyvalues={row016/data:col6/1364133382268/Put/vlen=7, row016/url:col6/1364133382268/Put/vlen=6}
  33. keyvalues={row017/data:col7/1364133382268/Put/vlen=7, row017/url:col7/1364133382268/Put/vlen=6}
  34. keyvalues={row018/data:col8/1364133382268/Put/vlen=7, row018/url:col8/1364133382268/Put/vlen=6}
  35. keyvalues={row019/data:col9/1364133382268/Put/vlen=7, row019/url:col9/1364133382268/Put/vlen=6}
复制代码

HBase Filter 过滤器之RowFilter详解
weixin_42047967的博客
05-04 2768
前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习 一。Java Api 头部代码 publi...
HBase 系列（七）——HBase过滤器详解
黑白影的博客
06-07 9434
一、HBase过滤器简介 Hbase提供了种类丰富的过滤器（filter）来提高数据处理的效率，用户可以通过内置或自定义的过滤器来对数据进行过滤，所有的过滤器都在服务端生效，即谓词下推（predicate push down）。这样可以保证过滤掉的数据不会被传送到客户端，从而减轻网络传输和客户端处理的压力。 二、过滤器基础 2.1 Filter接口和FilterBase抽象类 Filter...
hbase RowFilter 查询
pengweid专栏
03-25 918
Operator Description LESS 小于 LESS_OR_EQUAL 小于等于 EQUAL 等于 NOT_EQUAL 不等于 GREATER_OR_EQUAL 大于等于 GREATER 大于 NO_OP 排除所有 R
【HBase学习之三】HBase RowKey设计
最新发布
varyall的专栏
06-15 86
然而糟糕的rowkey设计是热点的源头。一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用Long.Max_Value - timestamp 追加到key的末尾，例如[key][reverse_timestamp]，[key] 的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。利用hbase表，按照字典序排序的特性，进行扫描操作，要查询的数据有共同的前缀。
Hbase RowFilter
maixia24的专栏
11-12 2677
/** * Copyright 2010 The Apache Software Foundation * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed wit
python模糊查询hbase的rowkey_hbase RowFilter如何根据rowkey查询以及实例实现代码
weixin_39732027的博客
12-18 237
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase...
java操作HBase
qq_41482600的博客
03-12 837
创建一个学生信息表，用来存储学生的姓名（姓名作为行键，且假设姓名不会重复）以及考试成绩，其中考试成绩（score）是一个列族，存储了各个科目的考试成绩。然后向student中添加数据。
hbase详解
woaini886353的博客
05-10 6039
hbase hbase简介 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS..
Hbase shell 操作（general、ddl、dml、Filter 过滤器）
weixin_44387652的博客
03-11 1300
Hbase shell 操作（general、ddl、dml、Filter 过滤器）1、进入 Hbase 客户端2、help 命令3、general：普通命令组4、ddl：定义组4.1、列出所有表：list4.2、创建表：create4.3、查看表的详细信息：describe(desc)4.4、修改表的定义：alter4.4.1、增加一列簇4.4.2、删除一列簇4.5、查看表是否存在：exists4.6、表失效与启用：disable、enable4.7、删除表：drop5、dml：管理组5.1、插入数据：p
HBase开发实例学习
阳光奶爸的博客
07-27 1万+
介绍HBase的常用API的使用方法以及HBase与MapReduce的结合使用。
hbase行键过滤器RowFilter
JacksonKing的专栏
12-16 1131
RowFilter是用来对rowkey进行过滤的,比较符如下: Operator Description LESS 小于 LESS_OR_EQUAL 小于等于 EQUAL 等于 NOT_EQUAL 不等于 GREATER_OR_EQUAL 大于等于 .
python模糊查询hbase的rowkey_hbase RowFilter如何根据rowkey查询以及实例实现代码
weixin_39818727的博客
12-18 276
小于等于row010的行keyvalues={row001/data:col1/1364133382268/Put/vlen=7,row001/url:col1/1364133382268/Put/vlen=6}keyvalues={row002/data:col2/1364133382268/Put/vlen=7,row002/url:col2/1364133382268/Put/vlen=6}...
hbase查询列表数据返回rowKey
User_xiangpeng的专栏
11-07 3799
设计了rowKey，查询列表却没有返回rowKey这个字段？ 因公司业务的需要，返回列表数据还需要做详情的查询，那首选当然是根据rowKey去查，性能好呀！一顿操作猛如虎，列表使用scan加rowKey模糊匹配扫描只返回固定条数的数据，但是拿到整行数据却没有看到rowKey？不科学，咋可能不返回呢？搜了下，相关资料比较少，某歌还是比较强大的，来，看代码： Scan scan = n...
HBase根据Rowkey批量查询数据JAVA API
AntKengElephant的博客
07-23 1042
最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录（返回给前台list）。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。 首先创建链接...
HBase的java代码开发（按照rowkey查询指定列族下面的指定列的值）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-18 9263
第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> ...
HBase根据Rowkey批量查询数据JAVA API(一次查多条，返回多个记录)
热门推荐
0箫逝的博客
12-01 2万+
最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录（返回给前台list）。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。
在Hbase使用过滤器（行键过滤器、列族与列过滤器、值过滤器）
weixin_45890771的博客
12-01 1万+
本文介绍Hbase中的过滤器： 1、行键过滤器 2、列族与列过滤器 3、值过滤器 格式如下： scan'表名',{FILTER=>过滤器(比较运算符,'比较器')"} 一、行键过滤器 RowFilter可以配合比较器和运算符，实现行键字符串的比较和过滤 例如，匹配出行键中大于102的数据，可使用binary比较器；匹配以10开头的行键，可使用substring比较器，注意substring不支持大于或小于运算符。 首先创建本次需要用到的表，booksystem:bookinf
HBase--RowFilter和BloomFilter原理
weixin_59295776的博客
09-05 328
RowFilter顾名思义就是对rowkey进行过滤，那么rowkey的过滤无非就是相等（EQUAL）、大于(GREATER)、小于(LESS)，大于等于(GREATER_OR_EQUAL)，小于等于(LESS_OR_EQUAL)和不等于(NOT_EQUAL)几种过滤方式。· 存储开销：BloomFilter是列族级别的配置，一旦表格中开启BloomFilter，那么在生成StoreFile时同时会生成一份包含BloomFilter结构的文件MetaBlock，所以会增加一定的存储开销和内存开销。
HBash之shell操作
qq_32677137的博客
09-09 1505
文章目录1. 常用shell操作1.1 需求1.2 创建表1.2.1 启动HBase Shell1.2.1 创建表1.2.2 查看表1.2.3 删除表1.2.3.1 禁用表1.2.3.2 删除表1.2.3.3 删除ORDER_INFO表1.3 添加数据1.3.1 需求1.3.2 PUT操作1.4 查看添加的数据1.4.1 需求1.4.2 get命令1.4.3 查询指定订单ID的数据1.4.4 显示中文1.4.4.1 查看订单的数据1.5 删除操作1.5
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值