hadoop 文件错乱

最新推荐文章于 2025-08-19 13:56:51 发布

kequanjade

最新推荐文章于 2025-08-19 13:56:51 发布

阅读量371

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/keyuquan/article/details/73379913

hadoop 专栏收录该内容

4 篇文章

订阅专栏

在Hadoop测试集群运行Spark程序时遇到错误，部分任务失败，出现Cannot obtain block length for LocatedBlock的问题。分析原因是datanode挂掉后，Namenode可能存在临时文件未关闭。通过执行hadoop fsck命令查找并删除OPENFORWRITE状态的文件，再重新上传文件到hdfs以解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个datanode长期挂掉的后，重新运行spark程序报错

java.io.IOException:Cannot obtain block length for LocatedBlock

解决方法：

在Hadoop 测试集群运行job的过程中发现部分运行失败，有Cannotobtain block length for LocatedBlock，使用hdfs dfs -cat${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的，可能由于Namenode长时间gc或者切换或者重启会留下很多.tmp结尾的文件)，为此，使用hadoop命令显示处于打开状态的文件，然后删除这些文件：

hadoop fsck /-openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" |grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs-rmr {};

然后重传这些文件到hdfs。