spark实现从hbase中批量查询多个rowKey

最新推荐文章于 2021-11-29 23:21:19 发布

weixin_34054931

最新推荐文章于 2021-11-29 23:21:19 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 scala shell

原文链接：http://www.cnblogs.com/xuesheng/p/9633751.html

针对多个无序rowKey在HBase中批量查询的需求，通过在Spark中使用RowFilter和BinaryComparator进行过滤优化，提高查询效率。将多个rowKey集合转化为FilterList，以限制查询范围。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：参数是多个没有顺序的rowKey，在某张表中批量查询。一个一个rowKey查询的话，效率太低。

实现：需要在scan中添加filter。filter中添加多个rowKey，对需要查询的rowKey进行限制。x代表rowKey。

 val rowKeyFilter=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes(x)))

　　RowFilter用于过滤row key

Operator	Description
LESS	小于
LESS_OR_EQUAL	小于等于
EQUAL	等于
NOT_EQUAL	不等于

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34054931

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

spark core 根据查询条件条件删除hbase数据

m0_37813354的博客

09-20

1500

主要策略：一，读取hbase表数据二，获取rowkey字段，和过滤条件用的字段三，根据过滤条件，只保留需要删除的数据的rowkey 四，分批次删除hbase 数据（我这里每个批次10000条）具体代码如下： package ezr.bigdata.spark.hbase import java.util.{ArrayList, Li...

Spark BulkLoad批量读写Hbase

lyd882的博客

02-28

1693

Spark BulkLoad批量读写Hbase Spark读写Hbase，不要使用put逐条数据插入，效率太低了，要使用批量导入的方式！要分Hbase版本来做不同处理： Hbase 1.x版本依赖：  <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client&lt

参与评论您还未登录，请先登录后发表或查看评论

HBase分页查询的rowkey设计技巧

09-20

用户历史订单列表查询rowkey设计技巧最左前缀原则

Hbase 行键设计（rowkey）实现多条件查询

Happy_wu的专栏

06-30

3604

转自：http://blog.youkuaiyun.com/alphags/article/details/53786777 摘要本文主要内容是通过合理Hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单

java hbase 批量查询数据_HBase根据Rowkey批量查询数据JAVA API(一次查多条，返回多个记录)...

weixin_39588419的博客

02-13

638

最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录(返回给前台list)。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。首先创建链接属性：...

HBase根据Rowkey批量查询数据JAVA API

AntKengElephant的博客

07-23

1043

最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录（返回给前台list）。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。首先创建链接...

spark 存入hbase_Spark DataFrame写入HBase的常用方式

weixin_40004057的博客

12-19

495

Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark ...

Bulk Load——Spark 批量导入多列数据到HBase（scala/Java）

王某的博客

05-06

5707

一、流程 Spark加载HDFS上的数据 ——> 数据清洗 ——> 准备HBase表 ——> 数据量预估，预分裂——> 数据整理为表的格式 ——> 批量写入 ——> 优化此文主要记录后四个步骤未优化时，大概1200万条数据/h (10G数据) 二、准备HBase表 val table: HTable = null val tableName ...

hbase rowkey 查询

crazzy_lp的博客

07-07

6995

一、hbase查询方式 hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意： scan可以通过setCaching与setBatch方法提高速度（以空间换时间） scan可以通过setStartRow与setE...

HBase根据Rowkey批量查询数据JAVA API(一次查多条，返回多个记录)

0箫逝的博客

12-01

2万+

Spark-Hbase 查询

04-16

609

要使用HBase-Spark Connector，用户需要定义在HBase和Spark表之间的映射关系的schema目录，准备数据，并且填充到HBase表中，然后加载HBase Dataframe。之后，用户可以使用SQL查询做集成查询和访问记录HBase的表。以下描述了这个的基本步骤：１、定义目录（Define catalog）２、保存DataFrame３、加载DataFrame４、SQL 查询 1.定义目录Define catalog val catalog = s"""{ ...

Hbase 根据rowkey批量读写

炼数成器

07-28

1048

批量查询Hbase 传入一个rowkey List 返回一个嵌套 HashMap<String, HashMap<String, String>> public static HashMap&lt...

[HBase基础]--RowKey查询(Scan和Get比较)

热门推荐

欢迎来到我的博客，一起探索代码里的世界！

05-05

2万+

一、HBase查询方式 hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...

Hbase 多条件查询的解决思路

Neo_Echo的博客

01-25

3974

背景：开发一个根据标签的的范围圈定符合条件的所有用户的服务，并将其提供给营销部门使用。在随后的开发过程中我门发现已经有人做过这块，其文章中描述的服务与我们的需求及其相似。不过我们想要实现的是更为复杂的多条件查询。摘抄：（以下为前辈的blog主要内容摘要，传送门）本文主要内容是通过合理hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过...

HBase通过Java利用rowkey简单查询数据

weixin_47878012的博客

11-29

5814

注意事项：操作前要确保HBase已经正常运行而Hbase强依赖于HDFS以及zookeeper，所以在操作之前一定要保证Hbase、Hadoop和zookeeper正常启动。 IDEA：IntelliJ IDEA 2021.1 x64 第一步：创建maven工程，导入jar包新建maven工程在pom.xml文件下写入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven...

Hbase scan通过rowkey条件查询

bug_love的博客

11-27

2万+

public static List> getList(String tableName,String starttime,String stoptime,String uuid,String muuid) throws IOException{ HTablePool pool = new HTablePool(configuration, 1000); uuid = "285

hbasetohbase，如何将hbase中的数据使用spark离线同步到hbase