hbase之scan的rowkey问题

最新推荐文章于 2025-06-15 20:34:42 发布
最新推荐文章于 2025-06-15 20:34:42 发布
阅读量3.7k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hbase 文章标签： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ruidongliu/article/details/9221637
在使用HBase进行数据存储时，通过Scan操作获取RowKey时，发现原始插入的RowKey被处理成了一种特定格式。经过分析，发现处理仅涉及简单的拼接，并未进行译码。通过深入研究KeyValue类，发现在其toString方法中可以找到原始RowKey。通过跟踪keyToString方法，了解RowKey的构造方式，并编写了一个Util方法来提取真实RowKey。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近使用到hbase做存储，发现使用scan的时候，返回的rowkey并不是特别友好

 

例如我insert的rowkey是 xyz_123_abc

 

调用KeyValue的getKeyString方法返回的String为

 

Java代码 复制代码  收藏代码
  1. kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04  
kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04

 可以看到我的rowkey已经被处理过了，不过这个处理只是拼接处理，没有其他译码的过程。

 

好吧，这下需要考虑如何提取出我的真实的rowkey了，看了下KeyValue中，生成key的算法太繁琐了，直接跳过，debug看下rowkey的返回过程，发现KeyValue对象本身其实是正常的，也就是说KeyValue的toString方法其实有正常的rowkey，ok找到入口点了，直接看toString的方法

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hbase初始化并根据RowKey获取数据
xiaosongwahaha的博客
12-17 4272
接前面的文章“ HbaseTemplate配置进阶：利用Spring自动装配加载HbaseTemplate ” 1、java中的controller类： @Controller public class HbaseController { @Autowired private HbaseTemplate htemplate; HbaseInit hbaseInit =
Hbase表Scan方法获取rowkey
scyxm0426的专栏
04-18 2万+
/** *每次读取Hbase数据库Page_Size条 * @param entity */ public static void getContentFromHbase(HbaseExportEntity entity) { StringBuffer buffer = new StringBuffer(); ResultScanner scanner = null;
【HBase学习之三】HBase RowKey设计
最新发布
varyall的专栏
06-15 51
然而糟糕的rowkey设计是热点的源头。一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用Long.Max_Value - timestamp 追加到key的末尾，例如[key][reverse_timestamp]，[key] 的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。利用hbase表，按照字典序排序的特性，进行扫描操作，要查询的数据有共同的前缀。
Hbase根据rowkey利用scan查询
学习、记录、分享
10-23 6937
1.rowkey以某个内容开头 Filter filtet = new PrefixFilter("ooo".getBytes()); 2.rowkey字符串包含方式 Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx")); 3.rowkey匹配正则方式 Filter filter2 = n...
Hbase scan通过rowkey条件查询
bug_love的博客
11-27 2万+
public static List> getList(String tableName,String starttime,String stoptime,String uuid,String muuid) throws IOException{ HTablePool pool = new HTablePool(configuration, 1000); uuid = "285
hbase中根据Rowkey后缀进行查询
蜗牛^_^的博客
11-23 1万+
假如hbase表设计时，Rowkey设计为“time+uid”（这里不考虑hbase的Rowkey设计合理性，只是简单说明）。现在有一个需求，筛选出某一uid在一个时间段[time1,time2)的值，该怎么办呢？
HBase的RowKey设计原则含案例(全)
BOOLTechnology的博客
03-01 3070
HBase的rowkey设计原理和案例分享
hbase scan rowkey前缀 反向
05-30
可以使用 HBase 中的 Reverse Scan（反向扫描）功能来实现按照 RowKey 前缀进行反向扫描。具体而言，你可以将 RowKey 前缀反转（Reverse Prefix），然后将反转后的前缀作为起始 RowKey，再将原始的 RowKey 前缀反转...
hbase查询列表数据返回rowKey
User_xiangpeng的专栏
11-07 3795
设计了rowKey，查询列表却没有返回rowKey这个字段？ 因公司业务的需要，返回列表数据还需要做详情的查询，那首选当然是根据rowKey去查，性能好呀！一顿操作猛如虎，列表使用scan加rowKey模糊匹配扫描只返回固定条数的数据，但是拿到整行数据却没有看到rowKey？不科学，咋可能不返回呢？搜了下，相关资料比较少，某歌还是比较强大的，来，看代码： Scan scan = n...
HBase实践——HBase rowkey 设计实践总结小记
qq_41018861的博客
06-28 629
背景： 针对在hbase使用Scan+Filter进行查询时，必须要设置startKey和stopKey，限制扫描的范围分区，大数据量情况下不设置所要查询的分区会导致全表扫描。 由于需要设置分区，即startKey和stopKey，那么我们需要设计好我们的rowKey,目前没有发现适用所有情况的完美的rowKey设计方案，都需要根据业务和数据来进行合理的设计我们的rowKey。比如我们业务中，需要以某个字段的值作为查询条件，那么这个字段的值就可以作为rowKey的一部分，注意了，这里说的是作为rowKe
[HBase基础]--RowKey查询(Scan和Get比较)
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
05-05 2万+
一、HBase查询方式    hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。    实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...
Hbase之RowKey设计
lslslslslss的博客
01-05 1127
1.什么是Rowkey RowKey是Hbase中一行数据的记录，Hbase通常通过get（得到特定rowkey的一行的数据），scan（通过startRow和stopRow确定范围来检索），全表扫描的方式检索数据。 2.rowkey在Region中的作用 当大量请求访问HBase集群的一个或少数几个节点，造成少数RegionServer的读写请求过多、负载过大，而其他RegionServer负载却很小，这样就造成热点现象。大量访问会使热点。Region所在的主机负载过...
HBase表的RowKey设计、热点和二级索引
凉茶铺的博客
10-31 1185
对HBase表的RowKey设计、热点和二级索引进行了简要的说明
HBase的rowkey排序和scan输出顺序
weixin_33989058的博客
01-17 1226
本文目的：搞清楚HBase里面行与行之间的排序排序规则，如何正序和反序输出扫描结果。 明确： HBase里面同一列的元素按照rowkey进行排序，排序规则是rowkey的ASCII码排序，小的在前大的在后。 举例说明：rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp（单位：秒）（System.currentTimeMillis()/1000得到），由此来看ro...
Hbase的Rowkey设计原则
m0_61607827的博客
03-21 834
一、Hbase介绍 HBase -> Hadoop Database，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库） 二、设计原则 2.1Rowkey长度原则 Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议设计在10-100个字节，不过建议是越短越好，不要超过16个字节...
HBASE的shell操作
u013111855的博客
10-21 2647
HBASE的shell操作Group name: general 通用命令Group name: namespace 进入shell界面(启动hbase客户端)： hbase shell 进入客户端后，可以使用help命令来查看命令分组： help 命令分组分为： COMMAND GROUPS: Group name: general Commands: status, t...
hbase shell操作
liminghui4321的博客
11-01 1913
1.scan scan命令可以按照rowkey的字典顺序来遍历指定的表的数据。 scan ‘表名’：默认当前表的所有列族。 scan ‘表名’,{COLUMNS=> [‘列族:列名’],…} ： 遍历表的指定列 scan '表名', { STARTROW => '起始行键', ENDROW => '结束行键' }：指定rowkey范围。如果不指定，则会从表的开头一直显示到表的结尾。区间为左闭右开。 scan '表名', { LIMIT => 行数量}： 指定返回的行的数量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值