大数据开发利器：Hadoop（9） HBase进阶第2讲 HBase过滤器

最新推荐文章于 2025-07-06 10:13:15 发布
原创 最新推荐文章于 2025-07-06 10:13:15 发布 · 718 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hadoop #hbase

本文详细介绍了HBase中的三种常用过滤器：行过滤器、列限定符过滤器及自定义过滤器，并通过示例代码展示了如何使用这些过滤器进行数据筛选。

本节介绍几种HBase的过滤器：RowFilter（行过滤器）、QulifierFliter（列名过滤器）和FilterList。

1. 准备工作

1.1 创建表

① 表结构介绍

还是以学生成绩表为例，表名为studentScore，行键名为name，列族名为score。行限定符有English,Math, Computer 。
表的逻辑视图如下：

namescore
EnglishMathComputer
Zhangsan808595
Lisi657488
②使用Hbase shell创建表
creart 'studentScore', 'score'

1.2 开启服务

启动Hadoop、Zookeeper和HBase。

start-dfs.sh
start-yarn.sh
zkServer.sh start
start-hbase.sh

1.3 创建项目

创建项目名为hbase_study2，包名为edu.hbase.study2。同时将hbase/conf下的log4j.properties复制到项目下的src/目录下。

2. 代码讲解

2.1 创建和关闭连接

① 创建连接

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "localhost");
conf.set("hbase.zoookeeper.property.clientPort", "2181");
Connection conn = ConnectionFactory.createConnection(conf);
Table table = conn.getTable(TableName.valueOf("studentScore"));

② 关闭连接

if (table != null)
    talbe.close();
if(conn != null) 
    conn.close();

2.2 RowFilter(行过滤器)

2.2.1 RowFilter()方法参数讲解

① RowFilter()方法(其他过滤器也是一样)有两个参数。

第一个参数为比较运算符。有以下几种类型：

操作描述
LESS匹配小于设定值的值
LESS_OR_EQUAL匹配小于或等于设定值的值
EQUAL匹配等于设定值的值
NOT_EQUAL匹配不相等设定值的值
GREATER_OR_EQUAL匹配大于或等于设定值的值
GREATER匹配大于设定值的值
NOT_OP排除一切值

第二个参数为比较器，有以下几种类型。

比较器描述
BinaryComparator使用Bytes.compareTo()比较当前值与阈值
BinaryPrefixComparator前缀匹配
NullComparator判断当前值是否为null
BitComparator按位与(AND)，或（OR），异或(XOR)执行位级比较
RegexStringComparator正则表达式比较
SubstringComparator把阈值和表中的数据当作String实例，同时通过contains()操作字符串
② Get和Scan两个类都支持过滤器，本节以Scan讲解

2.2.2 过滤器代码

Scan scan = new Scan();
// 产生的数据不放入CacheBlock中，防止读取错误
scan.setCacheBlocks(false);
// 匹配是否相等 语句1
Filter filter = new RowFilter(CompareFilter.CompareOP.EQUAL, new BinaryComparator(Bytes("Zhangsan")));
// 匹配前缀是否相等 语句2
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));
// 匹配是否含有相应的字符串 语句3
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("si"));
scan.setFilter(filter);

2.2.3 格式化输出代码

当然，需要格式话输出，代码如下：

// 格式话输出
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    List<Cell> cells = result.listCells();
    for (Cell cell : cells) {
        String rowkey = new String(CellUtil.cloneRow(cell));
        String colFamily = new String(CellUtil.cloneFamily(cell));
        String column = new String(CellUtil.cloneQualifier(cell));
        String value = new String(CellUtil.cloneValue(cell));
        System.out.println("rowkey: " + rowkey + "  " + "colFamily: " + colFamily + "  " + "cloumn: "+ column + "  " + "value: " + value);
    }
}
scanner.close();

2.2.4 构造数据和输出展示

2.2.4.1 执行语句1

 //匹配相等
Filter filter = new RowFilter(CompareFilter.CompareOP.EQUAL, new BinaryComparator(Bytes("Zhangsan")));

① 首先创建两行测试数据

put 'studentScore', 'Zhangsan', 'score:English', '80'
put 'studentScore', 'Lisi', 'score:English', '65'

② 执行语句1并注释语句2和语句3
在Eclipse中运行项目。
结果如下图所示：

rowFilter 1

可以发现，只显示了Zhangsan行的数据。

2.2.4.2 执行语句2
// 匹配前缀
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));

① 构造测试数据

put 'studentScore', 'Zhangzhao', 'score:English', '90'

现在表中有Zhangsan,Zhangzhao,Lisi，三行数据。
② 执行语句2，同时注释语句1和语句3

结果如下图所示：

rowFitler 2

可以发现，显示了两行数据。

2.2.4.3 执行语句3
// 匹配包含字符串
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("si"));

① 构造测试数据

put 'studentScore', 'Lisiguang', 'socre:English', '70'

现在有两行包含si字符串。
② 执行语句3，同时注释语句1和语句2
结果如下图所示：

rowFitler 3

可以发现，显示了两行数据，符合预期。

2.3 QualifierFilter(列限定符过滤器)

2.3.1 代码讲解

和行键过滤器类似的方法，只是方法名不同。

// 匹配是否相等
Scan scan = new Scan();
scan.setCacheBlocks(false);
Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("English")));
scan.setFilter(filter);

2.3.2 运行代码

① 构造数据

put 'studentScore', 'Zhangsan', 'score:Math', '85'

② 运行代码
运行代码结果如下图：

qualifierFilter

2.4 FilterList自定义过滤器

2.4.1 代码讲解

这里使用SingleColumnValueFilter（单列）过滤器。即用一列的值决定是否一行数据是否被过滤。
所以有三个参数：（从左到右）

  • 列族名
  • 行限定符
  • 比较运算符
  • 需要比较的参数
    前面两个参数确定单元格，最后两个参数确定比较的方式和比较的值。
Scan scan = new Scan();
scan.setCacheBlocks(false);

// English为8开头的
SingleColumnValueFilter filter1 = new SingleColumnValueFilter(Bytes.toBytes("score"), Bytes.toBytes("English"), CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("8")));
// 作用是：对于要使用作为条件的列，如果这一列本身就不存在，那么如果为true，这样的行将会被过滤掉，如果为false，这样的行会包含在结果集中
filte1.setFilterIfMissing(true);
// math为80或90
SingleColumnValueFilter filter2 = new SingColumnValueFilter(
        Bytes.toBytes("score"),
        Bytes.toBytes("Math"),
        CompareOp.EQUAL,
        new RegexStringComparator("80|90"));
)
filter2.setFilterIfMissing(true);
List<Filter> filters = new ArrayList<Filter>();
filters.add(filter1);
filters.add(filter2);

// 这里有两个参数：MUST_PASS_ONE和MUST_PASS_ALL
// MUST_PASS_ALL  类似 与运算（&&） 默认是这个
// MuST_PASS_ALL  类似 或运算（||） 

// 语句1
FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);
// 语句2
FilterList filterlist = new FilterList(filters);

scan.setFilter(filterlist);

2.4.2 构造数据

为了让结果更好的显示，我们将之前的数据删去，重新构造数据

disable 'studentScore'
drop 'studentScore'
create 'studentScore', 'score'
// 满足两个条件的
put 'studentScore', 'Zhangsan', 'score:English', '85'
put 'studentScore', 'Zhangsan', 'score:Math', '90'
// 仅仅满足一个条件的
put 'studentScore', 'Lisi', 'Score:English', '90'
put 'studentScore', 'lisi', 'Score:Math', '80'
// 两个条件都不满足的
put 'studentScore', 'Wangwu', 'Score:English', '90'
put 'studentScore', 'Wangwu', 'Scrore:Math', '85'

2.4.3 运行代码

① 运行语句1，注释语句2
FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);

类似或运算（||），所以预期结果应显示Zhangsan和Lisi两行数据。
结果如下图：

自定义Filter 1

② 运行语句2，注释语句1
FilterList filterlist = new FilterList(filters);

类似 与运算(&&)，所以预期结果只有Zhangsan这一行。
结果如下图：

自定义Filter 2

2.5 完整代码

package edu.hbase.study3;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.QualifierFilter;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;

public class EduFilter {
    public static Configuration conf;
    public static Connection conn;
    public static Table table;

    public static void init() throws IOException {
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conn = ConnectionFactory.createConnection(conf);
        table = conn.getTable(TableName.valueOf("studentScore"));
    }

    public static void close() throws IOException {
        if (table != null) {
            table.close();
        }

        if (conn != null) {
            conn.close();
        }

    }

    public static void rowFilter() throws IOException {
        init();
        Scan scan = new Scan();
        // 产生的数据不放入CacheBlock中，防止读取出错
        scan.setCacheBlocks(false);
        // 匹配全部是否相等
//      Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("Zhangsan")));
        // 匹配前缀是否相等
//      Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));
        // 匹配是否含有相应的字符串
        Filter filter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("si"));

        scan.setFilter(filter);
        resultOut(scan);
        close();
    }
    public static void columnFilter() throws IOException {
        init();
        Scan scan = new Scan();
        scan.setCacheBlocks(false);
        Filter filter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("English")));
        scan.setFilter(filter);
        resultOut(scan);
        close();
    }
    public static void resultOut(Scan scan) throws IOException {
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) {
            List<Cell> cells = result.listCells();
            for (Cell cell : cells) {
                String rowkey = new String(CellUtil.cloneRow(cell));
                String colFamily = new String(CellUtil.cloneFamily(cell));
                String column = new String(CellUtil.cloneQualifier(cell));
                String value = new String(CellUtil.cloneValue(cell));
                System.out.println("rowkey: " + rowkey + "  " + "colFamily: "
                        + colFamily + "  " + "cloumn: "+ column + "  " + "value: " + value);
            }
        }
        scanner.close();
    }
    public static void filterList() throws IOException {
        init();
        Scan scan = new Scan();
        scan.setCacheBlocks(false);

        SingleColumnValueFilter filter1 = new SingleColumnValueFilter(
                Bytes.toBytes("score"),
                Bytes.toBytes("English"),
                CompareOp.EQUAL,
                new BinaryPrefixComparator(Bytes.toBytes("8")));
        filter1.setFilterIfMissing(true);

        SingleColumnValueFilter filter2 = new SingleColumnValueFilter(
                Bytes.toBytes("score"),
                Bytes.toBytes("Math"),
                CompareOp.EQUAL,
                new RegexStringComparator("80|90"));
        filter2.setFilterIfMissing(true);

        List<Filter> filters = new ArrayList<Filter>();
        filters.add(filter1);
        filters.add(filter2);

        // MUST_PASS_ALL  && 的用法 （默认）
                // MUST_PASS_ONE  || 的用法

        FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);

//      FilterList filterlist = new FilterList(filters);
        scan.setFilter(filterlist);
        resultOut(scan);

        close();
    }

    public static void main(String[] args) throws IOException {
//      rowFilter();
//      columnFilter();
        filterList();
    }
}

3. 总结

本节主要介绍了三种常用的过滤器：行过滤器、列限定符过滤器以及自定义过滤器。
其中自定义过滤器中，我设置了两个过滤器，通过FilgerList实现了两个过滤器的与（&）和或（|）。

参考内容

dxer - Hbase过滤器总结
王滨 - 网易微专业 大数据工程师

45、大数据处理利器：Hadoop与Map/Reduce技术详解
yhn456789的博客
07-14 57
本文详细介绍了Hadoop及其核心组件Map/Reduce在大数据处理中的应用。从Hadoop的基本概念、Map/Reduce模型的工作原理，到HDFS分布式存储、集群管理，以及与R语言的集成工具RHadoop的使用方法，全面解析了Hadoop的技术体系。同时，还介绍了其他使用Hadoop的方式，如Segue和Hadoop流式处理，并探讨了性能优化、故障排除和未来发展趋势，帮助读者更好地理解和应用Hadoop技术。
Hadoop生态圈-Hbase过滤器（Filter）
weixin_34353714的博客
06-08 188
　　　　　　　　　　　　　　　　　　　Hadoop生态圈-Hbase过滤器（Filter） 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。...
Hadoop学习四十二：HBase 过滤器
zy19982004的专栏
07-04 402
一.概述 客户端创建包含过滤器Filter的Scan。 Scan通过RPC被发送给RegionServer，在服务器端执行过滤操作。 Scan的作用域是region，所以一个RegionServer有多个region的话，Scan将被发送到每个region。   二.Filter工作流程        你必须知道的是，HBase里的一行数据对应一或者多个KeyValue。再...
小白学hadoop日记——布隆过滤器
qq_42515611的博客
07-17 463
布隆过滤器应用场景 做缓存：经常被访问的东西存储到内存型key-value数据结构--->在真正缓存之前可以加一个bloomfilter 布隆过滤器原理 它的时间复杂度是O(1)，但是空间占用取决其优化的方式。它是布隆过滤器的基础。 布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组（或者叫位向量）和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k。 以上图为例，具体的插入数据和校验是否存在的流程： 假设集合里面有3个元素{x, y, z}，哈希函数的...
Hadoop期末复习贴-Hbase过滤器
梏十一郎的博客
12-29 729
若本文对你有帮助，请记得点赞、关注我喔！
小白学hadoop日记16——hbase的java api 2——过滤器、比较器
qq_42515611的博客
07-17 676
过滤器：值过滤、单值过滤器、过滤器链、行过滤器、列过滤器等。 比较器：二进制、字符串前缀比较、正则比较器等 能不用过滤器尽量不用过滤器，因为性能肯定没有直接使用get快。 LESS, LESS_OR_EQUAL, EQUAL, NOT_EQUAL, GREATER_OR_EQUAL, GREATER, NO_OP 代码实现 import com.al.util.HbaseUtil; import org.apache.hadoop.hbase....
HBase与Hadoop生态集成：构建完整大数据解决方案
最新发布
大数据洞察的博客
07-06 827
想象一下，你是一家电商公司的技术负责人：每天有10亿用户访问网站，产生PB级的浏览日志、交易记录、商品评价；客服需要实时查询用户最近的订单状态；数据分析团队要每周统计商品销量趋势；数据科学家要训练推荐算法预测用户喜好。如何让这些需求同时满足？HBase如何与Hadoop生态组件配合，构建一个既能存得下、又能查得快、还能算得准的大数据解决方案。我们会覆盖HBase与HDFS的存储集成、与MapReduce/Spark的计算集成、与ZooKeeper的协调机制，以及实际项目中的部署和优化方法。核心概念。
分析大数据的利器：MapReduce原理与应用
[分析大数据的利器：MapReduce原理与应用](https://www.altexsoft.com/static/blog-post/2023/11/462107d9-6c88-4f46-b469-7aa61066da0c.webp) # 摘要 MapReduce作为一种分布式计算框架，已成为大数据处理的核心...
大数据利器Hadoop：从基础到实战，一篇文章掌握大数据处理精髓！
邓邓子的博客
10-06 7293
在当今大数据时代，数据量的爆炸式增长对企业和技术提出了前所未有的挑战。如何高效地存储、处理和分析这些庞大的数据集，成为了亟待解决的问题。Hadoop作为一种分布式计算框架，应运而生，为大数据处理提供了有效的解决方案。Hadoop是一个由Apache软件基金会维护的开源项目，它基于Google的分布式文件系统（Google File System，GFS）和MapReduce计算模型设计。Hadoop的主要目标是处理大规模数据集，它可以在普通硬件集群上运行，从而降低了大数据处理的成本。
【大数据实战应用】：Hadoop与Spark的顶尖技术解析
本文首先概述了大数据技术及其重要性，随后详细介绍了Hadoop生态系统的核心组件、集群部署与管理，以及高级应用。在深入分析了Hadoop后，本篇论文转向Spark技术，探讨了其核心组件、数据处理能力和集群管理优化。...
hbase for hadoop2.X 使用 protocolbuffer 自定义filter
专注大数据技术以及行业解决方案
11-20 2005
一.所需技能 1.搭建环境请参考http://blog.youkuaiyun.com/hadoop_83425744/article/details/49254741里面环境搭建 2.必须掌握protocol buffer 3.了解hbase的流程 二.环境搭建 1.推荐环境搭建使用linux,通过hadoop在windows的二次开发的教训决定直接使用linux环境开
HBase高级特性：过滤器（二）
m0_52680439的博客
11-12 1403
1.过滤器执行步骤step1：客户端创建Scan过滤器；step2：发送过滤器数据的序列化Scan；使用过滤器对Scan进行序列化，并同时使用Scan和内部扫描。
HBase 过滤器 （二）
devalone 的专栏
07-12 3236
继  HBase 过滤器 （一） 1.3 专用过滤器 (Dedicated Filters) ---- HBase 提供的第二类过滤器直接基于 FilterBase 并实现了更特定的应用场景。其中的很多过滤器事实上只适用于执行扫描操作时，因为它们过滤整个行。 对于 get() 调用，这些过滤器的限制过于苛刻：包括所有行，后者什么也不包括。     ■ 前缀过滤器 (PrefixFilter) ...
Fiddler 工具使用技巧
LHL62411570的专栏
09-14 417
（一）Filter过滤器的使用
Hbase过滤器
weixin_39950222的博客
09-14 473
Hbase通过过滤器减少网络传输的数据，过滤器在regionserver中起作用 数据仍然需要从磁盘读到regionserver，因为Hbase表存储大量的数据，网络IO的节省更有意义，如果先读出所有数据传到客户端再过滤出有用数据，IO开销很大 主要有六种过滤器：比较器、列值过滤器、键值元数据过滤器、行键过滤器、功能过滤器、布隆过滤器 比较器 一般与其他过滤器结合使用 列值过滤器 列值相等...
HBase常用的内置过滤器
sun_shang的博客
10-08 788
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryComparator可以
[Hadoop]输入路径过滤，通配符与PathFilter
热门推荐
SmartSi
12-21 1万+
1. 丢失文件路径过滤应用场景：我们想查询一个月以来度假的订单数据，但是HDFS中可能因为业务故障，导致某一天的订单数据不存在：FileInputFormat.setInputPaths(job, inputPath);上述代码在遇到路径不存在的时候会报错。所以在设置路径之前需要进行一次判断，判断这个路径在HDFS上是否存在，如果存在，使用addInputPath方法添加：FileSystem f
hadoop 之 PathFilter -- 输入文件过滤器
Andrew的成长之路
11-04 1572
1.指定多个输入在单个操作中处理一批文件，这是很常见的需求。比如说处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符在匹配多个文件时比较方便的，无需列举每个文件和目录来指定输入。hadoop为执行通配提供了两个FileSystem方法：public FileStatus[] globStatus(Path pathPattern) throw I
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值