关于hadoop中filesystem closed的error的想法

最新推荐文章于 2024-12-15 22:28:23 发布

原创最新推荐文章于 2024-12-15 22:28:23 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #多线程

Hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了在使用Hadoop运行程序时遇到Task失败的问题，发现原因是程序中创建的FileSystem实例在缓存中被关闭。通过配置FileSystem不缓存或修改程序确保线程安全，成功解决了问题。

在Hadoop上运行自己的程序，直接出现task failed，根据错误信息，找到关键词：filesystem closed。

参考以下两篇文章，基本可以确定，肯定是我程序中FileSystem.get(conf)生成的filesystem实例是在cache中的实例，所以会被某个线程在某个地方被close了。

http://blog.youkuaiyun.com/chenyi8888/article/details/7284245

http://os.51cto.com/art/201305/394782.htm

解决思路

1，配置Filesystem不缓存，这样每次都会重新创建一个对象而不是从cache中得到实例。

或者2，修改程序，使得每次只能一个线程访问filesystem

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

守猪待屠

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl

QYHuiiQ

06-07

1130

在MapReduce中读取HDFS上的文件时报错：这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添

hadoop 2.6 源码解读之FileSystem.get(conf)实现

zhixingheyi_tian的博客

05-13

3982

hdfs 常见的获取文件系统代码，如下 Configuration conf = new Configuration(); FileSystem fs; fs = FileSystem.get(conf); fs 最终指向的是FileSystem哪个子类呢，过程是怎么样的，逐步跳进代码一看 public static FileSystem ...

参与评论您还未登录，请先登录后发表或查看评论

运行Hadoop程序，出现 Filesystem closed 异常

JAVA开发

11-08

1763

运行Hadoop程序时，出现 Filesystem closed异常。通过查证是设置了缓存。需要取消缓存。通过修改配置文件core-site.xml： fs.hdfs.impl.disable.cache true 程序仍然出现上述问题。在程序中，加上这条语句：JobConf jobConf.set("fs.hdfs.impl.disable.cache",

hive运行时Job initialization failed: java.io.IOException: Filesystem closed

分布式应用与服务器架构专栏

02-22

8229

最近运行一次读多次写的hiveSQL语句出现了一个新问题，如图：在hadoop的mapreduce管理页面里，报错如下信息如图：目前暂时无解中…………………… 奇怪同一个SQL语句出现如此问题，有待观察！对于此问题，是因为Filesystem 是一个single 对象，当设置了JVM重用这个参数后，那么就会出现之前一个任务运行完成后，会关闭这个Filesystem，

hadoop FileSystem是否要close

chanyue123的博客

02-21

1148

hadoop 获取的fs 是否需要手动关闭

Hadoop Filesystem closed Exception

spark的专栏

07-25

3064

FileSystem.get(uri, conf)方法会根据conf.getBoolean(disableCacheName, false)的值决定是创建FileSystem还是从cache中获取FileSystem, 而默认情况下conf.getBoolean(disableCacheName, false)值为flase(除非特别指定disableCacheName 值为true), 即从

Hadoop程序，出现 Filesystem closed 异常

Stereo

09-29

2232

一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它！所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…final

Filesystem Close

最新发布

weixin_52642840的博客

12-15

257

一个bug

S3A FileSystem

zhixingheyi_tian的博客

07-22

521

S3A

企业项目实战hadoop篇---hadoop安装部署（一）

qq_42003848的博客

08-15

1294

hadoop安装部署一.hadoop简介二.安装hadoop三.部署伪分布式hadoop四.部署分布式hadoop五. 部署分布式资源管理框架yarn 一.hadoop简介 HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。 HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNod

记一次Spark ThriftServer Bug排查

Deegue

07-01

2640

问题描述我们在用Spark ThriftServer（以下简称STS）用在查询平台时，遇到了以下报错： ERROR SparkExecuteStatementOperation: Error executing query, currentState RUNNING, org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.q...

hadoop Caused by: java.io.IOException: Filesystem closed

tttjjjlll的专栏

02-25

526

今天在执行hive的时候报了下面的错: [code="java"] 2014-02-25 09:07:20,021 INFO [IPC Server handler 17 on 60055] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1393225005206_083...

hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed org.apache.hadoop.hdfs.DFSClient.checkOpe

qiumengkai的专栏

09-23

8285

java.io.IOException: Filesystem closed 最近从事hadoop java 方面的开发工作。问题是这样的，之前使用java 拷贝本地文件到hdfs, 代码如下 public void copyFile(String src, String dst) { try { // hdfs = FileSystem.get(conf); Pa

【错误处理】hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed

victorzzzz的专栏

05-22

4355

报错信息：java.io.IOException: Filesystem closed 参考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7 参考：https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blo...

hadoop应用开发技术..._不要调用Hadoop的FileSystem#close

weixin_39620684的博客

11-26

271

好久没写博客了，今天来聊一聊踩到的一个Hadoop的坑。Hadoop把对于文件系统的调用封装成了一个FileSystem类，使得新的文件系统的提供者只要实现这个接口就可以接入到Hadoop生态体系的各个计算引擎里面比如Spark, Presto等等，非常的方便。FileSystem类实现了Closable的接口:public 对于Java新特性使用的比较溜的同学在使用FileSystem的时候自然...

Filesystem closed

苏格拉底的毒堇汁

11-11

3909

java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:232) at org.apache.hadoop.hdfs.DFSClient.access$600(DFSClient.java:70) at org.apache.hadoop.hdfs.

Filesystem closed报错问题处理

杜海的博客

02-02

1953

使用HDFS的时候问题原因为：多线程访问问题，线程A、B同时获取filesystem后使用，线程B使用完后调用了filesystem.close()方法，这个时候线程A还在操作filesystem，所以报错上面种种异常。

HDFS FileSystem使用的坑

寂寞的博客

01-30

5822

在初次使用HDFS客户端下载文件时，很容易写出下面的代码 FileSystem fileSystem = FileSystem.get(uri, conf, "hadoopuser"); // 使用fileSystem做操作 try (BufferedReader br = new BufferedReader( new InputStreamReader(fileSystem.open(new Path("/dat

掌握Hadoop FileSystem API: 文件操作实践指南

在分布式计算和大数据处理领域，Hadoop作为一个开源框架，广泛应用于存储和处理大...随着分布式存储技术的不断进步，了解并熟练使用FileSystem API，可以更好地帮助我们管理和操作存储在Hadoop生态系统中的大规模数据。