hbase之scan的rowkey问题

最新推荐文章于 2025-06-15 20:34:42 发布
原创 最新推荐文章于 2025-06-15 20:34:42 发布 · 3.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hbase

在使用HBase进行数据存储时，通过Scan操作获取RowKey时，发现原始插入的RowKey被处理成了一种特定格式。经过分析，发现处理仅涉及简单的拼接，并未进行译码。通过深入研究KeyValue类，发现在其toString方法中可以找到原始RowKey。通过跟踪keyToString方法，了解RowKey的构造方式，并编写了一个Util方法来提取真实RowKey。

最近使用到hbase做存储，发现使用scan的时候，返回的rowkey并不是特别友好

 

例如我insert的rowkey是 xyz_123_abc

 

调用KeyValue的getKeyString方法返回的String为

 

Java代码 复制代码  收藏代码
  1. kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04  
kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04

 可以看到我的rowkey已经被处理过了，不过这个处理只是拼接处理，没有其他译码的过程。

 

好吧，这下需要考虑如何提取出我的真实的rowkey了，看了下KeyValue中，生成key的算法太繁琐了，直接跳过，debug看下rowkey的返回过程，发现KeyValue对象本身其实是正常的，也就是说KeyValue的toString方法其实有正常的rowkey，ok找到入口点了，直接看toString的方法

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hbase初始化并根据RowKey获取数据
xiaosongwahaha的博客
12-17 4277
接前面的文章“ HbaseTemplate配置进阶：利用Spring自动装配加载HbaseTemplate ” 1、java中的controller类： @Controller public class HbaseController { @Autowired private HbaseTemplate htemplate; HbaseInit hbaseInit =
Hbase表Scan方法获取rowkey
scyxm0426的专栏
04-18 2万+
/** *每次读取Hbase数据库Page_Size条 * @param entity */ public static void getContentFromHbase(HbaseExportEntity entity) { StringBuffer buffer = new StringBuffer(); ResultScanner scanner = null;
【HBase学习之三】HBase RowKey设计
最新发布
varyall的专栏
06-15 104
然而糟糕的rowkey设计是热点的源头。一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用Long.Max_Value - timestamp 追加到key的末尾，例如[key][reverse_timestamp]，[key] 的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。利用hbase表，按照字典序排序的特性，进行扫描操作，要查询的数据有共同的前缀。
Hbase根据rowkey利用scan查询
学习、记录、分享
10-23 6948
1.rowkey以某个内容开头 Filter filtet = new PrefixFilter("ooo".getBytes()); 2.rowkey字符串包含方式 Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx")); 3.rowkey匹配正则方式 Filter filter2 = n...
Hbase scan通过rowkey条件查询
bug_love的博客
11-27 2万+
public static List> getList(String tableName,String starttime,String stoptime,String uuid,String muuid) throws IOException{ HTablePool pool = new HTablePool(configuration, 1000); uuid = "285
【大数据学习 | HBASE高级】rowkey的设计，hbase的预分区和压缩
2301_80912559的博客
11-12 1603
regionserver堆栈内存大小，官方推荐每台regionserver内存大小设置20-24G，不推荐设置更大，因为更大的堆栈内存GC效率较低。，rowkey的设计至关重要，会影响region分布，如果rowkey设计不合理还会出现region写热点等一系列问题。需求：hbase存储的是用户的交易信息， 我想查某个用户在某个时间段内的交易记录，如何设计rowkey。用户id(md5)， 用户名称， 交易时间， 交易金额， 交易说明。，或者数据在刚开始插入的数据都在一个region中，使得。
HBase调优 —— rowkey设计的三大原则与热点问题的解决方案
一纸春秋的博客
12-04 3018
在hbase中，rowkey的设计应该遵循三大原则 rowkey唯一原则 hbase中数据是以k-v格式存储的，rowkey可以类比为mysql里面的key值，因此在hbase的一张表里面，rowkey不应该重复。而且一个rowkey只能对应一条数据，用rowkey去get表里面的数据时，返回的应该是唯一一条对应的数据记录，不应该返回多条 另外，因为rowkey是按照字典顺序排序存储的，所以可以将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。不过这样做虽然方便了scan等范围查询数据，也可能会
hbase中根据Rowkey后缀进行查询
蜗牛^_^的博客
11-23 1万+
假如hbase表设计时，Rowkey设计为“time+uid”（这里不考虑hbase的Rowkey设计合理性，只是简单说明）。现在有一个需求，筛选出某一uid在一个时间段[time1,time2)的值，该怎么办呢？
HBase的RowKey设计原则含案例(全)
BOOLTechnology的博客
03-01 3082
HBase的rowkey设计原理和案例分享
hbase查询列表数据返回rowKey
User_xiangpeng的专栏
11-07 3813
设计了rowKey，查询列表却没有返回rowKey这个字段？ 因公司业务的需要，返回列表数据还需要做详情的查询，那首选当然是根据rowKey去查，性能好呀！一顿操作猛如虎，列表使用scan加rowKey模糊匹配扫描只返回固定条数的数据，但是拿到整行数据却没有看到rowKey？不科学，咋可能不返回呢？搜了下，相关资料比较少，某歌还是比较强大的，来，看代码： Scan scan = n...
HBase实践——HBase rowkey 设计实践总结小记
qq_41018861的博客
06-28 634
背景： 针对在hbase使用Scan+Filter进行查询时，必须要设置startKey和stopKey，限制扫描的范围分区，大数据量情况下不设置所要查询的分区会导致全表扫描。 由于需要设置分区，即startKey和stopKey，那么我们需要设计好我们的rowKey,目前没有发现适用所有情况的完美的rowKey设计方案，都需要根据业务和数据来进行合理的设计我们的rowKey。比如我们业务中，需要以某个字段的值作为查询条件，那么这个字段的值就可以作为rowKey的一部分，注意了，这里说的是作为rowKe
[HBase基础]--RowKey查询(Scan和Get比较)
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
05-05 2万+
一、HBase查询方式    hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。    实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...
Hbase之RowKey设计
lslslslslss的博客
01-05 1142
1.什么是Rowkey RowKey是Hbase中一行数据的记录，Hbase通常通过get（得到特定rowkey的一行的数据），scan（通过startRow和stopRow确定范围来检索），全表扫描的方式检索数据。 2.rowkey在Region中的作用 当大量请求访问HBase集群的一个或少数几个节点，造成少数RegionServer的读写请求过多、负载过大，而其他RegionServer负载却很小，这样就造成热点现象。大量访问会使热点。Region所在的主机负载过...
HBase表的RowKey设计、热点和二级索引
凉茶铺的博客
10-31 1191
对HBase表的RowKey设计、热点和二级索引进行了简要的说明
HBase的rowkey排序和scan输出顺序
weixin_33989058的博客
01-17 1233
本文目的：搞清楚HBase里面行与行之间的排序排序规则，如何正序和反序输出扫描结果。 明确： HBase里面同一列的元素按照rowkey进行排序，排序规则是rowkey的ASCII码排序，小的在前大的在后。 举例说明：rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp（单位：秒）（System.currentTimeMillis()/1000得到），由此来看ro...
Hbase的Rowkey设计原则
m0_61607827的博客
03-21 839
一、Hbase介绍 HBase -> Hadoop Database，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库） 二、设计原则 2.1Rowkey长度原则 Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议设计在10-100个字节，不过建议是越短越好，不要超过16个字节...
hbase数据库scan操作_HBase Scan 使用
weixin_39675289的博客
02-15 2504
1. Scan类常用方法说明// 1. 指定需要的family或column，如果没有调用任何addFamily或Column，会返回所有的columnsscan.addFamily()scan.addColumn()// 2. 指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本scan.setMaxV...
hbase scan rowkey前缀 反向
05-30
可以使用 HBase 中的 Reverse Scan（反向扫描）功能来实现按照 RowKey 前缀进行反向扫描。具体而言，你可以将 RowKey 前缀反转（Reverse Prefix），然后将反转后的前缀作为起始 RowKey，再将原始的 RowKey 前缀反转后作为终止 RowKey，然后进行反向扫描。 下面是一个示例代码： ``` byte[] reversePrefix = Bytes.toBytesBinary(new StringBuilder(Bytes.toStringBinary(prefix)).reverse().toString()); byte[] startRow = Bytes.add(reversePrefix, Bytes.toBytesBinary("0000000000000000")); byte[] stopRow = Bytes.add(reversePrefix, Bytes.toBytesBinary("ffffffffffffffff")); Scan scan = new Scan(startRow, stopRow); scan.setReversed(true); scan.setCaching(100); ResultScanner scanner = table.getScanner(scan); for (Result result : scanner) { // 处理结果 } scanner.close(); ``` 其中，`prefix` 为 RowKey 前缀，`table` 为 HBase 表对象。在代码中，首先将 RowKey 前缀进行反转，然后将反转后的前缀与起始和终止标识符进行拼接，得到起始和终止 RowKey。接着，创建一个反向扫描的 `Scan` 对象，设置起始和终止 RowKey、是否反向扫描以及缓存大小等参数。最后，通过 `table.getScanner()` 方法获取 `ResultScanner` 对象，遍历结果并进行处理。 需要注意的是，反向扫描需要对 RowKey 进行反转，因此可能会影响查询性能。此外，反向扫描也可能会影响数据的分布，因此需要根据具体情况进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值