处理org.apache.hadoop.hbase.client.ScannerTimeoutException

最新推荐文章于 2023-04-16 04:01:02 发布
最新推荐文章于 2023-04-16 04:01:02 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31598113/article/details/78039366
版权

使用spark读取hbase数据成为rdd数据结构时，不论spark作业的运行模式是client和cluster都报了一个异常：

org.apache.hadoop.hbase.client.ScannerTimeoutException

【原因】

没有在指定的时长内完成从HregionServer拉取完整数据到spark job客户端的内存当中，默认这个时间为是60000ms。为什么会超时呢？是因为所需要的数据需要从HregionServer先Scan再加载到spark job的客户端的内存，但是由于我这客户端内存不足，导致了无法完成所需全部数据的本地加载。


【解决办法】

（1）要么就加大spark job客户端的内存大小

（2）要么在跑spark作业前，调整hbase.client.scanner.timeout.period参数，例如从60秒调高到120秒


参考博文：http://blog.youkuaiyun.com/bryce123phy/article/details/51504585

org.apache.hadoop.hbase.client.ScannerTimeoutException: 83796ms passed since the last invocation, ti
优快云 精品推荐
08-03 149
在编写 `MapReduce` 程序时，Input数据来自 `HBase` 中的表，当 `Map` 端读取表中数据时出现 `org.apache.hadoop.hbase.client.ScannerTimeoutException: 83796ms passed since the last invocation, timeout is currently set to 60000`
org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.hadoop.hbase.ZooKeeperConnectionExc
最新发布
优快云 精品推荐
08-04 540
尝试使用 `JavaAPI` 连接 `HBase` 出现 `org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase`
HBase scanner 时抛出异常 ScannerTimeoutException
Dongea的博客
06-30 1341
对 HBase 进行 scan 的时候，有时会出现 ScannerTimeoutException 异常，异常如下： Error: org.apache.hadoop.hbase.client.ScannerTimeoutException: 4196754ms passed since the last invocation, timeout is currently set to 6
HBase运行中抛出异常org.apache.hadoop.hbase.client.ScannerTimeoutException
舒克的博客
04-25 2316
我的HBase版本是1.1.3,在进行scan时候抛出ScannerTimeoutException异常，具体如下： Exceptioninthread”main”java.lang.RuntimeException:org.apache.hadoop.hbase.client.ScannerTimeoutException: 143538ms passed since the last
一个HBase客户端超时问题的排查
进一步有一步的欢喜
05-26 1万+
最近处理了一个客户端scan超时问题，记录在此，希望能够帮助到遇到同样问题的同学。 问题的错误堆栈如下面所示： java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 76745ms passed since the last invocation, timeout is c
hbase_使用中遇到的问题（CallTimeoutException）
热门推荐
子龙修仙的博客
05-21 2万+
1. CallTimeoutException Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=139094: row '' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=hykj-slave-4,60040...
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
m0_61232019的博客
03-03 6422
看见了一个问答说的是在hbase的配置文件hbase-site.xml 增加一些配置就解决了，我跟着做了，终于解决了具体方法如下：1. 停止hbase集群2. 在配置文件hbase-site.xml 文件中增加如下配置3. 从启hbase集群我用的就是第二种方法解决的。
org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl.logNoResubmit
enjoy
08-12 2364
服务端从hbase取数据的时候，经常被我一顿瞎操作导致出现很多奇怪的问题，这次又出现下面的问题 [2020-08-12 11:03:28.196] [ WARN] [ed--pool1-t67] org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl.logNoResubmit(1248) | #1, table=item_features, attempt=1/1 failed=1ops, last exception: o
hbase报错org.apache.hadoop.hbase.client.RetriesExhaustedException: Cannot get the location for replica
weixin_63507910的博客
04-16 2457
本次异常是在执行读取hdfs中的数据导入到hbase表中所报的错误，笔者初步判断为没有在代码中指定zookeeper访问地址所导致的问题。这里笔者提供相关的代码文章，供读者参照。hbase基础(四)——MapReduce操作。
HBase最佳实践－客户端超时机制
^_^TaeYang-Jade^_^
03-19 1654
上篇博文结合一起线上问题介绍了HBase客户端基于退避算法的重试机制，并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。除了重试机制外，业务童鞋最关心的就是超时机制了。客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。好在HBase提供了多个客户端参数设置超时，主要包括 hbase
hbase scan超时设置_hbase 客户端超时、重连设置
weixin_32481609的博客
03-06 1153
1.设置的目的由于作为在线服务,需要能够保证在快速失败、失败容错重试等特性。快速失败能保证系统的低延时,能防止因为等待某个资源，造成服务资源暂用,最后导致服务不可用。失败容错能够提供服务的稳定性,进行服务失败是重试。因此Hbase客户端提供的重试机制，并通过配置合理的参数使得客户端在保证一定容错性的同时还能够保证系统的低延迟特性。2.hbase客户端重要参数hbase.client.pause失败...
hbase scan超时设置_Hbase的TTL字段超时设置测试
weixin_34277051的博客
02-23 483
在工作中，很多时候需要对表字段进行限定，例如限定一列的超时时间等。今天就总结一下：1. 做Hbase表做更改前，首先要disable 这个表，否则记录会丢失。首先，我们建立一个测试表test，有一个列簇fahbase(main):111:0> describe 'test'DESCRIPTION ...
HBase最佳实践－HBase中的写性能优化策略
12-10 2511
上一篇文章主要介绍了HBase读性能优化的基本套路，本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。 HBase数据写入通常会遇到两类问题
hbase scan超时设置_大数据优化：HBase存储优化设计
weixin_39858298的博客
12-21 216
大数据优化：HBase存储优化设计1 预分区每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。1.手动设定预分区hbase> create 'staff1','info' ,SPLITS => ['...
hbase scan超时设置_HBase扫描速度很慢
weixin_31258847的博客
01-17 1036
问题我正在和凤凰城建立二级指数.索引创建需要几个小时.这似乎是由于缓慢的HBase扫描,因为我注意到以下性能：>我可能需要2个小时来扫描表格,而其他开发人员报告了几分钟的大桌子(1亿行).> HBase shell能够计数大约几行.每秒10.000的速度,这意味着计算这个表的所有行的3800s(> 1小时！).兼容HBase shell和Java扫描器.注意：GET(by row...
hbase scan超时设置_全面解析HBase最佳实践 –——Scan用法
weixin_39744230的博客
12-21 556
HBase从用法的角度来讲其实乏陈可善，所有更新插入删除基本一两个API就可以搞定，要说稍微有点复杂的话，Scan的用法可能会多一些说头。而且经过笔者观察，很多业务对Scan的用法可能存在一些误区(对于这些误区，笔者也会在下文指出)，因此有了本篇文章的写作动机。也算是Scan系列的其中一篇吧，后面对于Scan还会有一篇结合HDFS分析HBase数据读取在HDFS层面是怎么一个流程，敬请期待。HBa...
Hbase扫描时抛出ScannerTimeoutException处理
smallnetvisitor的博客
09-20 364
在对Hbase进行Scan的时候有时候会抛出ScannerTimeoutException，场景如下：   2012 15:28:52 (14mins, 41sec) org.apache.hadoop.hbase.client.ScannerTimeoutException: 60622ms passed since the last invocation, timeout is curr...
HBase之超时机制
happy19870612's blog
11-13 5948
客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。好在HBase提供了多个客户端参数设置超时，主要包括 hbase.rpc.timeout / hbase.client.operation.timeout/ hbase.client.scanner.timeout.period 一 hbase.
hbase 客户端超时问题
chbxw
07-23 1949
参考： https://blog.csdn.net/bryce123phy/article/details/51504585 hbase 客户端超时 org.apache.hadoop.hbase.client.ScannerTimeoutException: 97622ms passed since the last invocation, timeout is currently set to...
org.apache.hadoop.hbase.client
03-16
org.apache.hadoop.hbase.client是HBase客户端API的Java实现。它提供了一组API，用于与HBase进行交互，包括创建、读取、更新和删除表格数据。此外，它还提供了一些高级功能，如过滤器、扫描器和事务支持。HBase客户端API是HBase的重要组成部分，使开发人员能够轻松地使用HBase进行数据存储和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值