Cannot obtain block length for LocatedBlock故障分析与解决

最新推荐文章于 2023-03-08 11:55:00 发布

念雅小轩

最新推荐文章于 2023-03-08 11:55:00 发布

阅读量4.4k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/B11050101/article/details/78519324

版权

在执行hive任务的时候经常会遇到如下错误：

Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-739651031-192.168.1.50-1452872943245:blk_1329315607_256707953; getBlockSize()=6604762; corrupt=false; offset=0; locs=[192.168

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

念雅小轩

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hadoop定位hdfs文件块异常和修复Cannot obtain block length for LocatedBlock

sunnyJam的专栏

11-28

1893

1、mapreduce任务处理时，产生异常信息，不能获取块的长度信息，错误日志如下： org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1574843806023_0008_m_000002_3: Error: java.lang.RuntimeException: org.ap...

Hive执行报错CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock

延宝小白马的博客

03-28

918

报错日志如下： Caused by: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock{BP-438308737--1615993069368:blk_1073893685_152906; getBlockSize()=949; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[:9866,DS

1 条评论您还未登录，请先登录后发表或查看评论

hive外部表访问异常-Cannot obtain block length for LocatedBlock

qq_39128254的博客

05-17

341

https://blog.youkuaiyun.com/chuhanyong5091/article/details/100970187?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.noneca

HDFS java.io.IOException: Cannot obtain block length for LocatedBlock

qq_38007708的博客

09-27

620

原因：文件异常关闭，导致文件无法被读取，一直没有释放租约。由于文件目录下有多个文件，使用命令检查 hdfs fsck /flume/logs/tyc_data/2019-09-25 正常的文件夹如下：由于文件夹中有多个文件，使用命令查找具体哪个文件出错 hadoop fsck /flume/logs/tyc_data/2019-09-25 -openforwrite | egrep -v...

hive Cannot obtain block length for LocatedBlock 报错定位

shuimofengyang的博客

11-12

561

1.背景：昨天运维同事生产升级了MySQL，跑的定时任务出错。 2.查看job 发现规律所有的查询都跑完，但插入不进去数据。 3.查看日志mr都100%但插入的都被kill掉了，最后有个映射错误啥的，错误不明显。 4，在HUE上测试的确是查可查，但插入不了，页面报错这个。很玄乎没啥好定位的，但确认是有错，且是插入错误。 5，截图联系运维人员一起排查。运维人员进入集群后看server2日志看...

定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException Cannot obtain block length for

weixin_52918377的博客

11-25

2076

hadoop定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock 一、问题重启hadoop集群之后,执行任务时发生异常异常信息 Error: java.io.IOException: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain bl

关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

weixin_53019598的博客

03-08

2294

仅记录，新手有误轻喷。

关于解决错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP的方案

杨先森的博客

04-11

4395

问题：出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331原因：文件异常关闭，导致文件，如下图错误内容 hdfs fsck /data/115/apkinfo/0-11-20180410170000.log(使用命令查看文件块的状态，如下图为打开状态) 红色为hdfs上的地址 hdfs de...

[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

liuwei0376的专栏

07-12

798

原文出处：https://blog.youkuaiyun.com/odailidong/article/details/51420701，致谢在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hd...

Cannot obtain block length for LocatedBlock故障分析和解决

qq_22195987的博客

06-21

3646

转载1https://www.cnblogs.com/cssdongl/p/6700512.html这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop集群维护的时候，基...

运行mapreduce报错CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock

qq_30868737的博客

05-18

587

报错日志如下： Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97) at org.apache.hadoop.hive.io.H

java.io.IOException: Cannot obtain block length for LocatedBlock{BP

孙大迪迪的博客

05-21

1075

问题描述：出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331 原因：文件异常关闭，导致读写任务失败使用命令查看文件块的状态： hdfs fsck /data/115/apkinfo/0-11-20180410170000.log 使用命令恢复： hdfs debug recoverL...

java中block_size_[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

weixin_39769228的博客

03-02

251

近期由于运维重启集群导致Flume异常关闭，总结一下原因和处理方法：现象：查询Hive外部表失败，外部表数据有Flume写入错误日志：2017-11-01 00:15:37,077 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hive (auth:SIMPLE)...

【Mapreduce租约异常/块异常】Cannot obtain block length for LocatedBlock

Sonnie0000001的博客

10-08

521

Mapreduce 租约异常

POI 解析Excel Cannot remove block[ xx ]; out of range[ 0 - xx ] 问题分析

weixin_34380781的博客

10-26

880

2019独角兽企业重金招聘Python工程师标准>>> ...

解决cannot remove ''Operation not permitted