hbase的scan之setCaching 和 setBatch

最新推荐文章于 2023-09-05 15:33:58 发布

齐梦星空

最新推荐文章于 2023-09-05 15:33:58 发布

阅读量1.7k

点赞数 1

分类专栏： hbase

本文链接：https://blog.youkuaiyun.com/weixin_37275456/article/details/89847965

版权

本文介绍了HBase中scan操作的setCaching和setBatch方法。setBatch决定了每个结果集包含的cell数量，Result的cell数等于Min(每行列数，Batch大小)。而setCaching则影响每次返回的结果数量，它并非直接表示行数，而是与RPC时间限制有关，设置过大可能导致连接异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

setBatch()基本用法

 val conf = HBaseConfiguration.create()
 val table: Table = ConnectionFactory.createConnection(conf).getTable(TableName.valueOf(Bytes.toBytes(

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

齐梦星空

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hbase之setCaching 和 setBatch 和setMaxResultSize

lidaxue_heart的专栏

09-18

2565

1.前沿关于hbase setCaching ，setBatch 网上搜索一大把资料，主要的目的是以空间换时间，减少RPC请求的次数；之前看到的一些文章不能完全解答自己的一些疑惑比如：不设置setBatch，返回的result 的数量？其对rpc次数的影响？setCaching默认值?其次新版本hbase（HBase-0.98 之后的版本，还没有考证）引入了setMaxResultSiz...

HBase Scan查询参数

花果山

02-12

2124

1）setCacheBlocks对于经常查询值，设置为true，试的Memstore可以缓存该数据。如果是全表扫描，设置为false。2） setCachingScan.setCaching is a misnomer. It should really be called something like Scan.setPrefetch. setCaching actually specifies...

参与评论您还未登录，请先登录后发表或查看评论

HBase scan setBatch和setCaching的区别

caoli98033的专栏

03-26

1万+

HBase的查询实现只提供两种方式： 1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） 2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意： 1、scan可以通过s

HBase--scan对象的setCache和setBatch方法的使用

最新发布

weixin_59295776的博客

09-05

397

setCache：用于设置缓存，即设置一次RPC请求可以获取多行数据。对于缓存操作，如果行的数据量非常大，多行数据有可能超过客户端进程的内存容量，由此引入批量处理这一解决方案。 setBatch：用于设置批量处理，批量可以让用户选择每一次ResultScanner实例的next操作要取回多少列，例如，在扫描中设置setBatch(5)，则一次next()返回的Result实例会包括5列。如果一行包括的列数超过了批量中设置的值，则可以将这一行分片，每次next操作返回一片，当一行的列数不能被批量中设置的值

Hbase里scan的批量处理setCaching

lb89012784的专栏

03-04

4395

在hbase里面scan的每个next()调用都会为每行数据生成单独的RPC请求很显然如果一次RPC请求可以获取多方数据，这样效率或者性能方面就更有意义就有了scan的扫描缓存setCaching(int caching) 但是这个值和服务端的内存消耗有关系，如果设置的比较高，性能可以提高，但是每次RPC请求将占用更多时间，而且数据量更多这样占用的内存更多，所有也需要找到平衡点之

HBase scan setBatch和setCaching的区别【转】

weixin_34310127的博客

05-16

328

转自：http://blog.youkuaiyun.com/caoli98033/article/details/44650497 HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） 2、按指定的条件获取一批记录，scan方法（org.apache.Hadoop.Hbase.client.Scan）...

hbase 程序优化参数调整方法

longshenlmj的专栏

09-10

4451

hbase读数据用scan，读数据加速的配置参数为：Scan scan = new Scan(); scan.setCaching(500); // 1 is the default in Scan, which will be bad for MapReduce jobs scan.setCacheBlocks(false); // don't set to true for MR

hbase数据读取优化_HBase-scan简介及优化(缓存与批量处理) - 嘣嘣嚓 - 博客园

weixin_36339234的博客

12-29

838

扫描(scan)这种技术类似于数据库系统中的游标(cursor),并利用到了HBase提供的底层顺序存储的数据结构。扫描操作的使用跟get方法非常类似。由于扫描操作的工作方式类似于迭代器，所以用户无需调用scan方法创建实例，只需要调用HTable的getScanner方法，此方法在返回真正的扫描器(scanner)实例的同事，用户也可以使用它迭代获取数据。ResultScanner getSca...

hbase在scan操作中cache,batch属性

hjmlhy的博客

03-29

3160

使用java操作hbase的scan操作代码级别的中调用有这么一个api： ResultScanner result = table.getScanner(scan); 这个 ResultScanner是迭代器，迭代器中每一个元素是一个result类看一下result类的实现，发现他有一个方法public KeyValue[] raw

HBase scan查询缓存优化 setBatch和setCaching的区别

wj1298250240的博客

09-08

755

hbase的caching和batch

大神带我来搬砖

01-15

492

hbase scan的时候设置caching,可以每次多从服务器取得row的数量,减少RPC的请求,那么batch的作用是什么呢? batch指的是一次next的时候,取得keyvalue的最大值.这个设置的用处是什么呢?是因为假设hbase中的row特别宽,那么一次next的时候,取得的keyvalue特别多,导致内存不足,所以用batch限制next时取keyvalue的数量. 但是bat...

HBase之cache和batch

綦侬BLOG

04-16

1033

本文转载自http://www.cnblogs.com/editice/archive/2013/04/22/3035728.html，并

MR中Hbase的Scan使用技巧

smallnetvisitor的博客

04-25

495

Hadoop的MR运算中，Hbase可以作为输入数据源参与运算，其中作为HTable的迭代器Scan有几个使用技巧涉及的方法如下： public void setBatch(int batch) public void setCaching(int caching) public void setCacheBlocks(boolean cacheBlocks) public vo...

HBase中的setCache、setMaxResultSize、setBatch

qq_32603475的博客

11-14

548

setCache() 客户端通过Rpc一次拉去几条数据（一个KeyRow对于一条数据） setMaxResultSize() 客户端拉去的数据保存到本地缓存的字节数组大小（每次拉取数据最新的数据都会保持到该文件，覆盖的为最近一次拉取的数据），客户端在查询数据的时候，会先在本地缓存文件中查找，如果不存在，才会去服务端拉取 setBatch() 客户端通过Rpc一次拉去几条数据最大的列数 ...

HBase Scanner Caching 扫描器缓存

止鱼

10-17

2218

什么是扫描器缓存Scan实例可以配置扫描的起始位置，以及其他过滤条件，每次调用 next 获取下一条记录的时候，默认配置会访问一次 RegionServer，在网络环境不是很好的情况对性能影响极大，所以建议配置扫描器缓存扫描器缓存能干什么一般来说，使用扫描器会对性能有影响，但是如果配置了Scanner Caching，那么服务器会在内存中开辟一块空间缓存数据，极大提高数据查询效率如何配置

R01 - 009、请描述 Hbase 中 scan 对象的 setCache 和 setBatch 方法的使用

吾心持剑，剑锋披靡

07-03

1140

初学耗时：0.5h 注：优快云手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。一、记忆词： ... R01 - 999、HBase、实时数据库ギ舒适区ゾ || ♂ 累觉无爱 ♀ 一、彪悍的人生没有放假！ - - - - - - - - - - - - - - - - - - - - - - - - - - - - ※ ...

hbase的api操作之scan

axs441702的博客

04-22

432

扫描器缓存---------------- 面向行级别的。 @Test public void getScanCache() throws IOException { Configuration conf = HBaseConfiguration.create(); Connection conn = ConnectionFactory.cr...

Hbase批量查询-scan介绍