hbase的caching和batch

最新推荐文章于 2023-04-01 23:39:31 发布
最新推荐文章于 2023-04-01 23:39:31 发布
阅读量493 收藏
点赞数
分类专栏： 大数据 hbase 文章标签： 大数据
hbase scan的时候设置caching,可以每次多从服务器取得row的数量,减少RPC的请求,那么batch的作用是什么呢?
batch指的是一次next的时候,取得keyvalue的最大值.这个设置的用处是什么呢?是因为假设hbase中的row特别宽,那么一次next的时候,取得的keyvalue特别多,导致内存不足,所以用batch限制next时取keyvalue的数量.
但是batch使用时需要注意的是,batch和某些filter有冲突,这是因为这些filter需要一个完整的row才能进行操作,而且使用了batch之后,一个row就有可能分成多个result来返回.

下图是HBase The Definitive Guide中的说明

[img]http://dl2.iteye.com/upload/attachment/0105/3129/9d1bb313-9b16-3d30-9f2a-2ade06ecdfcb.png[/img]
HBase性能优化指南
AI天才研究院
08-03 1065
随着互联网的快速发展，海量数据的产生、收集、处理、分析等过程越来越复杂，传统的关系型数据库(RDBMS)已经无法适应如此海量的数据。因此，NoSQL系统(如HBase)逐渐取代了RDBMS成为新的主要数据库。同时，HBase也面临着越来越多的应用场景，包括存储时序数据、实时查询分析等，这些应用都对数据库的性能提出了更高的要求。为了满足HBase在各种情况下的性能需求，作者推荐了以下五个方面的性能优化策略：1.选择合适的压缩算法：目前，HBase支持snappy、zlib、lzo、lz4等几种压缩算法。
hbase扫描优化-扫描缓存-cacheing-timetout-retries-batch
tianqinglei的博客
08-30 841
扫描 ----------------- 不应该全表扫描. 缓存和批处理 ----------------- 扫描器缓存可以在一次RPC中返回多条记录。默认是关闭的。 从两个层面上控制扫描器缓存。 全局配置.(优先级最低) hbase.client.scanner.caching 2147483647 1.表层面() HTable.set HConsta
HBase之cache和batch
綦侬BLOG
04-16 1037
本文转载自http://www.cnblogs.com/editice/archive/2013/04/22/3035728.html，并
HBase scannerCaching&caching
greatwqs : Where amazing happens ...
06-25 486
HBase Version: hbase-0.94.6-cdh4.3.0 在HBase Scan中有一优化: 使用 scannerCaching&caching. 意思是HBaseClient从HBase服务器一次取得多少条数据回来,减少从服务器来回取数据的次数,可以设置一次从HBase服务器取scannerCaching&caching条数据. 其中scannerCac...
hbase在scan操作中cache,batch属性
hjmlhy的博客
03-29 3165
使用java操作hbase的scan操作代码级别的中调用有这么一个api：                ResultScanner result = table.getScanner(scan); 这个  ResultScanner是迭代器，迭代器中每一个元素是一个result类              看一下result类的实现，发现他有一个方法public KeyValue[] raw
hbase的scan之setCaching 和 setBatch
齐梦星空
05-05 1735
连接
HBase scan setBatch和setCaching的区别
热门推荐
caoli98033的专栏
03-26 1万+
HBase的查询实现只提供两种方式： 1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） 2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan） 实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意： 1、scan可以通过s
hbase-page:hbase 分页
07-10
HBase本身并不直接支持像SQL那样的传统分页，但通过一些策略和工具，我们可以实现类似的效果。本文将深入探讨HBase中的分页实现及其相关知识点。 一、HBase的特性与数据模型 HBase是基于谷歌Bigtable设计的开源...
hbase之setCaching 和 setBatch 和setMaxResultSize
lidaxue_heart的专栏
09-18 2569
1.前沿 关于hbase setCaching ，setBatch 网上搜索一大把资料，主要的目的是以空间换时间，减少RPC请求的次数 ；之前看到的一些文章不能完全解答自己的一些疑惑 比如 ：不设置setBatch，返回的result 的数量？其对rpc次数的影响？setCaching默认值?其次新版本hbase（HBase-0.98 之后的版本，还没有考证）引入了setMaxResultSiz...
记一次·Spark读Hbase
xd1753762376的博客
02-20 842
记一次·Spark读Hbase 一 、背景 过年回来，数仓发现hive的一个表丢数据了，需要想办法补数据。这个表是flume消费kafka写hive。但是kafka里只保存最近7天数据，有部分数据kafka里已经没有了。不过这份数据会同时被消费到HBase内存储一份，并且HBase内的数据是正常的。所以这次任务是读HBase数据写Hive表。 HBase表内，只有一个列族info，列族内只有一个列value。 value为“|”分割的字段字符串。 “|”切割字符串得到最后一个字段为数据的时间戳，记为ts。
HBase Scanner Caching 扫描器缓存
止鱼
10-17 2220
什么是扫描器缓存Scan实例可以配置扫描的起始位置，以及其他过滤条件， 每次调用 next 获取下一条记录的时候，默认配置会访问一次 RegionServer， 在网络环境不是很好的情况对性能影响极大， 所以建议配置扫描器缓存扫描器缓存能干什么一般来说，使用扫描器会对性能有影响，但是如果配置了Scanner Caching，那么服务器会在内存中开辟一块空间缓存数据，极大提高数据查询效率如何配置
Hbase里scan的批量处理setCaching
lb89012784的专栏
03-04 4405
在hbase里面scan的每个next()调用都会为每行数据生成单独的RPC请求 很显然如果一次RPC请求可以获取多方数据，这样效率或者性能方面就更有意义 就有了scan的扫描缓存setCaching(int caching) 但是这个值和服务端的内存消耗有关系，如果设置的比较高，性能可以提高，但是每次RPC请求将占用更多时间，而且数据量更多 这样占用的内存更多，所有也需要找到平衡点 之
hbase的cache与batch的理解
梦想还是要有的，万一实现了呢！
11-01 1104
在默认情况下，如果你需要从hbase中查询数据，在获取结果ResultScanner时，hbase会在你每次调用ResultScanner.next（）操作时对返回的每个Row执行一次RPC操作。即使你使用ResultScanner.next(int nbRows)时也只是在客户端循环调用RsultScanner.next()操作，你可以理解为hbase将执行查询请求以迭代器的模式设计，在执行ne...
HBase scan setBatch和setCaching的区别【转】
weixin_34310127的博客
05-16 330
转自：http://blog.youkuaiyun.com/caoli98033/article/details/44650497   HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） 2、按指定的条件获取一批记录，scan方法（org.apache.Hadoop.Hbase.client.Scan）...
hbase优化分析
yjgithub的博客
11-15 691
目录: 1.表设计 2.写表操作 3.读表操作 4.HBase服务器端优化 5.Hbase客户端优化 6.HDFS相关优化 1.表设计: 1.1 表预分区(创建预分区) 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大
HBase性能优化方法总结
运维仙人
04-01 1427
在HBase中，数据在更新时首先写入WAL 日志(HLog)和内存(MemStore)中，MemStore中的数据是排序的，当MemStore累计到一定阈值时，就会创建一个新的MemStore，并且将老的MemStore添加到flush队列，由单独的线程flush到磁盘上，成为一个StoreFile。默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。三者的优先级越来越高。
hive常见错误
feilong2483的博客
04-06 4272
1.删除数据存放目录，重新格式化hadoop解决java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/hadoop/97c28744-9396-409d-a714-ad71a548ec63/hive_2...
hbase 性能调优
风起于青萍之末，折秀于林
09-30 1115
转载自 ：hbase性能调优 一、服务端调优  1、参数配置    1）hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMe
问题综合大全
记录
09-15 1097
Hive 1、java.lang.RuntimeException: Error caching map.xml Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/zheng/953248bb-587a-4faa-b14a-fa26e6e8b05c/hive_2021-07-16_15-22-57_353_2201885990890795097-1/-mr-10005/c8ef7.
2. 通过设置StartRow和StopRow，查询某个用户（由于号码是随机生成，自己选择一个用户即可）5月份手机号为的话费清单
06-09
假设我们要查询用户手机号为"15812345678"在5月份的话费清单，可以按照以下步骤进行查询： 1. 根据数据模拟，我们已经将用户的通话记录按照"手机号+时间戳+随机数"的格式存储在HBase表"phone"中，因此可以通过设置StartRow和StopRow来查询指定时间范围内的数据。 2. 由于时间戳已经包含了日期信息，我们只需要设置StartRow为"15812345678_20190501000000"，StopRow为"15812345678_20190601000000"，即可查询用户手机号为"15812345678"在5月份的所有通话记录。 下面是查询代码的示例： ``` public void query() throws Exception { String tableName = "phone"; Table table = HBaseUtils.getTable(tableName); Scan scan = new Scan(); String phoneNumber = "15812345678"; String startRow = phoneNumber + "_20190501000000"; String stopRow = phoneNumber + "_20190601000000"; scan.setStartRow(Bytes.toBytes(startRow)); scan.setStopRow(Bytes.toBytes(stopRow)); ResultScanner scanner = table.getScanner(scan); for (Result result : scanner) { String rowKey = Bytes.toString(result.getRow()); String dnum = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("dnum"))); String length = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("length"))); String date = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("date"))); String type = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("type"))); System.out.println(rowKey + ", " + dnum + ", " + length + ", " + date + ", " + type); } scanner.close(); table.close(); } ``` 需要注意的是，如果数据量非常大，可能会导致查询效率较低，可以通过设置Caching和Batch参数来提高查询效率。此外，如果需要按照时间戳来排序，可以设置Scan的TimeRange参数，并在查询结果中进行排序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值