Cannot obtain block length for LocatedBlock

Cannot obtain block length for LocatedBlock

说明: 当HDFS上文件在被写入时，在未关闭文件之前，写入操作异常终止，此文件就会保有openforwrite的状态,
不能对文件进行cat和get操作

常见场景：Flume在对HDFS进行文件写入操作时，HDFS服务终止，文件没及时关闭。

当MR读取该文件时，也无法使用cp或者get命令，会抛异常：

java.io.IOException:java.io.IOException: Cannot obtain block length for LocatedBlock{BP-572174678-192.168.88.88-1639737680039:blk_1073745926_5102; getBlockSize()=4513; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[192.168.88.88:50010,DS-815956ca-9ccb-4ab3-af7b-e0c2a28ceab7,DISK]]}

解决方法

1､先定位到文件

hadoop fsck -openforwrite
查看哪一个是openforwrite的文件

2､释放租约(关闭文件)

hdfs debug recoverLease -path -retries

批量处理命令: 试了一下好像不太管用

hdfs fsck -openforwrite | grep ‘^.’ | grep ‘OPENFORWRITE’ | grep -o “/[^ ]*” | xargs -Ixarg hdfs debug recoverLease -path xarg

原创文章地址转达:https://blog.youkuaiyun.com/hxiaowang/article/details/103493115