读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl

最新推荐文章于 2022-08-23 10:03:15 发布

QYHuiiQ

最新推荐文章于 2022-08-23 10:03:15 发布

阅读量980

点赞数 1

分类专栏：大数据之Hadoop 文章标签： hadoop mapreduce hdfs

本文链接：https://blog.youkuaiyun.com/QYHuiiQ/article/details/125174527

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

在MapReduce任务中，读取HDFS文件时遇到'Error: java.io.IOException: Filesystem closed'的问题。原因是多个节点共用同一个Configuration对象导致的FileSystem实例缓存问题。解决方案是在配置中禁用缓存，通过设置'hadoop.fs.automatic.close'为'true'来避免文件系统关闭错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在MapReduce中读取HDFS上的文件时报错：

22/06/07 10:11:18 INFO mapreduce.Job:  map 0% reduce 0%
22/06/07 10:11:22 INFO mapreduce.Job: Task Id : attempt_1654600519273_0003_m_000000_0, Status : FAILED
Error: java.io.IOException: Filesystem closed
        at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:817)
        at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:860)
        at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:926)
        at java.io.DataInputStream.read(DataInputStream.java:149)
        at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.fillBuffer(UncompressedSplitLineReader.java:62)
        at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:216)
        at org.apache.hado