hbase利用hint来实现filter快速扫描

最新推荐文章于 2020-08-27 12:37:11 发布
最新推荐文章于 2020-08-27 12:37:11 发布 · 374 阅读 · 0
文章标签：

#大数据

hbase只有rowkey上有索引,在rowkey上可以实现快速扫描,想在column上进行条件筛选或者是在rowkey的非前缀部分进行筛选只能通过filter,而一直以为filter只能顺序的遍历所有KeyValue.
但实际上filter可以提供hint来使scanner reseek重新定位,提高查询效率.

比如假设rowkey设计形式为barfoo,前三位是定长的bar属性,后三位是定长的foo属性,在bar属性上查询很容易,因为它是rowkey的前缀,使用startrow和endrow可以快速查询,对于非前缀属性foo来说,指定startrow是没有用的,必须要full scan才行.比如想查询***fo3的行,可以想象使用RegexStringComparator和RowFilter来全表扫描.

[img]http://dl2.iteye.com/upload/attachment/0105/3133/dfb590bf-d799-3946-bf6e-8255ea571d0d.png[/img]

但是假设这个table中,bar的基数比较小,foo的基数比较大(即bar的不同值的个数很少,而foo的不同值的个数很多).那么这时候可以通过在Filter的filterKeyValue方法中返回SEEK_NEXT_USING_HINT,告诉scanner进行reseek重定位,比如上述问题中,在检查过ba1fo3后,下一个rowkey是ba1fo4,可以通过hint告知scanner,reseek到ba2fo3的位置,即使hfile中没有ba2fo3这个key,也能定位到附近位置.假设bar的取值有十个,那么经过十次左右reseek,就可以完成文件遍历.

[img]http://dl2.iteye.com/upload/attachment/0105/3135/cfb4af30-efc1-3137-ab11-2da98dbe6136.png[/img]

该方法可用于rowkey的非前缀搜索,以及在wide row中进行inter row scan
Hbase Filter+Scan 查询效率优化
u013465194的博客
10-14 1万+
Hbase Fileter+Scan 查询效率问题 众所周知，Hbase利用filter过滤器查询时候会进行全表扫描，查询效率低下，如果没有二级索引，在项目中很多情况需要利用filter,下面针对这种情况尝试了几种优化的方案，仅供参考，欢迎交流。 根据业务要求，作者需要根据时间范围搜索所需要的数据，所以作者设计的rowKey是以时间戳为起始字符串的。 正确尝试： 1.scan 设置 开始行和结束行...
漫谈HBase Filter
小米云技术
07-09 1272
初衷 对数据库来说，满足业务多样化的查询方式非常重要。如果说有人设计了一个KV数据库，只提供了Get/Put/Scan这三种接口，估计要被用户吐槽到死，毕竟现实的业务场景并不简单。就以订单系统来说，查询给定用户最近三个月的历史订单，这里面的过滤条件就至少有2个：1. 查指定用...
minor compaction时的scan操作分析
隔壁老杨的专栏
04-23 1502
minor compaction时的scan操作分析 minor compaction时的scan主要是对store下的几个storefile文件进行合并,通常不做数据删除操作。 compaction的发起通过CompactSplitThread.requestCompactionInternal--> CompactSplitThread.CompactionRunner.run-->re
（五）hbase读写数据流程以及优化
weixin_43930865的博客
08-27 489
hbase读写数据流程 1：hbase整体存储架构 hbase整体操作流程 1、Table 中的所有行都按照 RowKey 的字典序排列。 2、Table 在行的方向上分割为多个 HRegion。 3、HRegion 按大小分割的(默认 10G)，每个表一开始只有一个 HRegion，随着数据不断插入表，HRegion 不断增大，当增大到一个阀值的时候，HRegion 就会等分会两个新的 HRegion。 当表中的行不断增多，就会有越来越多的 HRegion。 4、HRegion 是 Hbase 中分布式
Hbase Filter Scala 实战
拱头的专栏
03-22 4640
大部分内容来自,示例代码部分都用scala编写 介绍: hbase的filter用来控制返回的数据,主要用在Get和Scan中,通过filter的限制可以指定返回列簇,列,时间戳和版本号.所有的filter都在服务端生效,叫做谓词下推.这样可以保证被过滤掉的数据不会被传送客户端. 在过滤层次结构的最底层是Filter接口和FilterBase抽象类,用户可以通过集成Filter和Filter
HBase自定义过滤器
qq_36822400的博客
03-09 708
本文最新更新, 请访问作者个人主页, 后续也会更新一些HBase高级特性相关的文章. 本文首先结合HBase过滤器部分的源码, 讲述HBase过滤器抽象基类Filter中各个函数的作用. 最终给出一个简单的自定义过滤器的案例, 在此基础上分析了Filter中各个方法的执行流程, 读者在理解该案例的基础上可以编写任何个性化的过滤器. 本文涉及的源码基于HBase 1.4.x这一Stable Rele...
HBase过滤器：高级特性与自定义实现
### HBase过滤器：高级特性与自定义实现 #### 1. 随机行过滤示例 在数据处理中，有时需要随机筛选行数据。以下代码展示了如何使用`RandomRowFilter`随机过滤行： ```java Filter filter = new RandomRowFilter(0.5f...
Geomesa集成HBase：Geotools DataStore API 读写 HBase
koukan3的博客
11-19 2425
import org.apache.commons.cli.CommandLine; import org.apache.commons.cli.Options; import org.apache.commons.cli.ParseException; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.h...
HBase性能调优（1.2官方文档）
GK_kk的博客
06-29 6587
HBase性能调优 一． 操作系统： 1.内存： 内存尽可能的大，不要饿着HBase。 2.64-bit 使用64位的操作系统。 3.Swapping 当心交换。swappiness设置为0。   Linux 移动那些一段时间没有被访问的内存页到 swap 空间，即使它由足够可用的内存。这叫做 swap out。换一句话说，从 swap 空间读 swapped out 的数据到内
HBase中的术语详解
说文科技，做有态度的研究。
12-23 1806
HBase 中的术语详解【updating…】 1. Cell 1.1 什么是Cell? cell应该可以算是 HBase 中最小的维度，指的就是 HBase 中具有值的那行数据。 每个tableName,rowKey,columnFamily,qualifier,value 所表示的维度就是一个cell。 例如 hbase(main):006:0> get 'ns_ct:calllog'...
spring注解版 TypeFilter自定义扫描bean规则
qq_39023116的博客
10-18 2546
最近决定从学一下spring，以前学的时候很多东西就不怎么理解，这里开始好好学学。 今天看了自定义TypeFilter，在扫描包的时候可能会用到吧。 @ComponentScan(value = "top.blogs", includeFilters = {@Filter(type = FilterType.ANNOTATION, classes = { Controller.class })...
关于hbase中scan的一些总结
lvwenyuan_1的博客
11-02 1万+
首先，对于scan来说，哪些会全表扫描，哪些不会全表扫描。 对于这点，笔者原来有些疑惑，以为只要是对于scan来说，都会全表扫描。最近阅读了一些源码以及和咨询一些大神，稍微总结了下。                 什么是scan，scan是较为底层的也是用的最多的一种获取Hbase中数据的方式，在它的上面还封装了几种基于scan的获取方式的数据，例如snapshotScanMR,TableS
利用Phoenix为HBase创建二级索引
热门推荐
肖韬的BLOG
05-17 2万+
为什么需要Secondary Index对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫瞄的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。
hbase热点问题解决（预分区）
燕少江湖
06-30 1万+
一、出现热点问题原因 1、hbase的中的数据是按照字典序排序的，当大量连续的rowkey集中写在个别的region，各个region之间数据分布不均衡； 2、创建表时没有提前预分区，创建的表默认只有一个region，大量的数据写入当前region； 3、创建表已经提前预分区，但是设计的rowkey没有规律可循，设计的rowkey应该由regionN......
HBase扫描器与过滤器
吃果冻不吐果冻皮
06-30 3352
扫描器HBase在扫描数据的时候，使用scanner表扫描器。 HTable通过一个Scan实例，调用getScanner(scan)来获取扫描器。可以配置扫描起止位以及其他的过滤条件。 通过迭代器返回查询结果，使用起来虽然不是很方便，不过并不复杂。但是这里有一点可能被忽略的地方，就是返回的scanner迭代器，每次调用next的获取下一条记录的时候，默认配置下会访问一次RegionServer
Hbase--Scan全局扫描中的过滤器
ITgagaga的博客
10-24 714
Hbase过滤器 文章目录Hbase过滤器一·：hbase 过滤器的比较运算符： CompareOp二：HBase 过滤器的比较器（指定比较机制）：三：过滤器的分类1.指定扫描2.比较过滤器：2.专用过滤器 一·：hbase 过滤器的比较运算符： CompareOp LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_...
自动扫描中的Spring Filter组件
一名可爱的技术搬运工
05-21 292
在本Spring自动组件扫描教程中 ，您将学习如何使Spring自动扫描组件。 在本文中，我们向您展示了如何在自动扫描过程中进行组件过滤。 1.过滤器组件–包括 参见以下示例，使用Spring“ 过滤 ”来扫描和注册与定义的“ regex”匹配的组件名称，即使该类未使用@Component进行注释。 DAO层 package com.mkyong.customer.dao; p...
基于HBASE列式数据库实现快速检索
最新发布
07-31
### HBase列式存储的快速检索优化策略 HBase作为列式存储数据库，其设计非常适合大规模数据的快速检索，但要充分发挥其性能优势，需要结合其架构特点和数据模型进行优化。以下是一些关键的优化策略： #### 1. 合理设计RowKey RowKey是HBase中数据访问的核心索引，直接影响检索效率。为了实现快速检索： - **避免单调递增**：使用散列或反转时间戳等方法，防止数据集中写入同一Region，避免热点问题。 - **前缀区分度高**：将区分度高的字段放在RowKey前面，便于Scan操作时快速定位目标数据。 - **复合RowKey设计**：将多个查询条件组合成一个RowKey，以支持多维查询需求。 #### 2. 列族与列限定符的优化 HBase的列族（Column Family）和列限定符（Qualifier）设计对检索性能也有影响： - **列族数量控制**：每个列族独立存储，过多列族会增加I/O开销，建议控制在2~3个以内。 - **列限定符命名简洁**：由于每个列限定符都存储在每个单元格中，建议使用短名称减少存储开销。 - **版本控制**：通过`TTL`（Time To Live）和`Versions`参数控制数据保留版本数量，避免冗余数据影响查询效率。 #### 3. 使用Bloom Filter提升检索效率 Bloom Filter是一种空间效率很高的数据结构，用于判断一个元素是否可能存在于某个集合中。在HBase中启用Bloom Filter可以显著减少不必要的磁盘访问： - 配置`BLOOMFILTER`参数为`ROW`或`ROWCOL`，根据访问模式选择合适的过滤粒度。 #### 4. 启用压缩与编码 HBase支持多种压缩算法（如GZIP、Snappy、LZO），压缩可以减少磁盘I/O，提升查询性能。同时，列式存储本身具备较高的压缩率，结合编码（如Delta编码、Prefix编码）可进一步优化存储和检索效率。 #### 5. 利用缓存机制 HBase提供BlockCache机制，用于缓存热点数据。合理配置BlockCache（如使用堆外内存的BucketCache）可以显著提升读取性能，尤其是对频繁访问的数据。 #### 6. 使用Scan优化策略 Scan操作在HBase中用于范围检索，但不当使用会导致性能下降。优化建议包括： - **设置Scan范围**：明确指定StartRow和StopRow，避免全表扫描。 - **限制返回列**：使用`addColumn()`或`addFamily()`限定返回的列族或列，减少网络传输。 - **设置Caching参数**：控制每次RPC返回的行数，避免内存溢出。 #### 7. 合理配置Region Region是HBase中负载均衡和数据分布的基本单位。合理配置Region大小和数量可以提升检索效率： - **预分区（Pre-splitting）**：在表创建时预设多个Region，避免数据写入初期的热点问题。 - **监控Region大小**：确保每个Region的数据量在合理范围内，避免过大或过小。 #### 8. 利用协处理器（Coprocessor） HBase的协处理器允许将部分计算逻辑下推到RegionServer执行，减少网络传输，提升查询性能。例如，可以在协处理器中实现聚合计算、过滤等操作。 #### 9. 使用二级索引（如Phoenix） HBase本身不支持二级索引，但可以通过Apache Phoenix等工具实现。Phoenix在HBase之上构建了SQL引擎，并支持二级索引，可以显著提升多条件查询效率。 ### 示例代码：优化Scan操作 以下是一个优化Scan操作的Java示例： ```java Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("user1000")); scan.setStopRow(Bytes.toBytes("user2000")); // 限定返回的列族和列 scan.addColumn(Bytes.toBytes("personal"), Bytes.toBytes("name")); scan.addColumn(Bytes.toBytes("office"), Bytes.toBytes("department")); // 设置每次RPC返回的行数 scan.setCaching(100); ResultScanner results = table.getScanner(scan); for (Result result : results) { // 处理结果 } ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值