Hadoop Filesystem 多次close的问题

最新推荐文章于 2024-06-05 14:41:12 发布
原创 最新推荐文章于 2024-06-05 14:41:12 发布 · 3.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细阐述了在使用Apache Hadoop进行分布式文件系统操作时，多线程并发调用org.apache.hadoop.fs.FileSystem.close()可能引发的java.io.IOException:Filesystemclosed问题的原因及解决方案。通过添加fs.hdfs.impl.disable.cache到hdfs-site.xml中，可以避免此错误的出现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多线程并发调用org.apache.hadoop.fs.FileSystem.close() 可能导致其他线程

java.io.IOException: Filesystem closed

        at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:565)
        at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1543)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:819)


原因：

FileSystem.get(getConf())返回的可能是一个cache中的结果


解决方案：

添加fs.hdfs.impl.disable.cache到hdfs-site.xml

  <property>
    <name>fs.hdfs.impl.disable.cache</name>
    <value>true</value>
  </property>

读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl
QYHuiiQ
06-07 1048
在MapReduce中读取HDFS上的文件时报错： 这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。 而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添
多线程环境下HDFS的FileSystem使用踩坑
打酱油的葫芦娃
04-02 8389
最近用户反映项目现场某些Spark服务会莫名宕掉，作为组内的救火小王子，急速远程到现场服务器排查相关问题。 打开宕掉服务的日志，发现该服务"遗言"如下: 23:46:02.441 [Thread-3] INFO o.a.spark.storage.DiskBlockManager - Shutdown hook called 23:46:02.441 [dispatcher-event-loop...
多线程创建FileSystem，当close时导致其他的FileSystem关闭
wang972779876的博客
05-18 905
问题1：当我们使用FileSystem.get(conf)时会创建几个实例 针对这个问题我们进行代码测试 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import java.io.IOException; import java.util.List; public class ThreadTest extends Thread{ private FileSystem
hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed org.apache.hadoop.hdfs.DFSClient.checkOpe
qiumengkai的专栏
09-23 8234
java.io.IOException: Filesystem closed         最近从事hadoop java 方面的开发工作。问题是这样的，之前使用java  拷贝本地文件到hdfs, 代码如下 public void copyFile(String src, String dst) { try { // hdfs = FileSystem.get(conf); Pa
java.io.IOException: Filesystem closed
qq_42274571的博客
12-07 947
异常情况： 2021-12-06 23:25:15,656 INFO [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(260)) - Cleaning up the staging area /tmp/hadoop-yarn/staging/henry/.staging/job_1638759714369_0002 Exception in thread "main" java.io.IOException: Fi.
【错误处理】hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed
victorzzzz的专栏
05-22 4291
报错信息：java.io.IOException: Filesystem closed 参考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7 参考：https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blo...
Hadoop FIleSystem API JAVA操作。
繁城落叶
07-13 7262
1.FileSystem的获取。我们可以在Hadoop中使用FileSystem API来打开一个文件的输入流，然后我们可以对文件进行各种的操作实现。FileSystem是一个通用的文件系统API，FileSystem的获取方法有以下几种(以下所有相关代码接口实现均为手打，不保证完全正确，如有出错敬请谅解。)：public statis FileSystem get(Configuration co
【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip
08-13
本资源"【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip"聚焦于Hadoop中的HDFS（Hadoop Distributed File System）FileSystem API的写入操作。HDFS是Hadoop的核心组成部分，它是一个分布式文件...
05 Hadoop简单使用
BIN_2011464841的博客
06-05 2370
主要讲到了hadoop2.x和hadoop3.x变化，HDFS常用命令，Java操作HDFS，MapReduce，压缩和yarn常用命令。
Hadoop知识点梳理
03-04
4. **一致性模型**：HDFS提供了一种“一次写入多次读取”的一致性模型，简化了编程模型。 #### 八、HDFS API示例 HDFS提供了丰富的API，使得开发者可以方便地操作HDFS中的文件和目录。以下是一个简单的示例，演示...
hive运行时Job initialization failed: java.io.IOException: Filesystem closed
分布式应用与服务器架构专栏
02-22 8208
最近运行一次读多次写的hiveSQL语句出现了一个新问题，如图：   在hadoop的mapreduce管理页面里，报错如下信息如图： 目前暂时无解中…………………… 奇怪同一个SQL语句出现如此问题，有待观察！ 对于此问题，是因为Filesystem 是一个single 对象，当设置了JVM重用这个参数后，那么就会出现之前一个任务运行完成后，会关闭这个Filesystem，
hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed
ZeroKoop
02-28 1047
参考链接 1、创建文件系统实例的时候使用下面： FileSystem fs=FileSystem.newInstance(conf); 而不是：fs = FileSystem.get(conf);
Flink算子间数据传递模式
数据工匠记
03-18 2050
算子之间传输数据的形式可以是one-to-one (forwarding)的模式也可以是redistributing的模式，具体是哪一种形式，取决于算子的种类。 One-to-one： Stream(比如在 source 和 map operator 之间)维护着分区以及元素的顺序。那意味着 map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同，map、fliter、flatMap 等算子都是 one-to-one 的对应关系（类似于 spark 中的窄依
FileSystem closed 异常问题
lw305080的博客
10-20 3297
FileSystem closed 异常问题
Filesystem closed
苏格拉底的毒堇汁
11-11 3855
java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:232) at org.apache.hadoop.hdfs.DFSClient.access$600(DFSClient.java:70) at org.apache.hadoop.hdfs.
Caused by: java.io.IOException: Filesystem closed 操作文件系统时习惯性的关流
hongchenshijie的博客
11-26 1640
错误: 发生原因: filesystem被关闭了 解决办法
程序开过多线程，导致hadoop作业无法运行成功
nlslzf的专栏
10-23 428
Exception in thread "Thread-20" java.io.IOException: Call to /.....:8020 failed on local exception: java.io.IOException: Couldn't set up IO streams at org.apache.hadoop.ipc.Client.wrapException(Client...
多线程并发获取Hadoop集群信息出现部分线程获取失败
byond999的博客
11-22 1000
多线程并发获取Hadoop集群信息出现部分线程获取失败描述问题原因解决办法 描述 最近在写一个程序，该程序的主要功能是访问Hadoop集群的namenode获取集群中的DataNode信息。使用的方法如下： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://"+nameNode+":8020"); ...
解决使用libhdfs.so连接hdfs出错问题java.lang.ClassNotFoundException: org.apache.hadoop.fs.F
flyingshineangel的专栏
10-13 5309
        出现java.lang.ClassNotFoundException: org.apache.hadoop.fs.FileSystem错误的原因：         libhdfs.so并没有直接与hadoop与hdfs直接交互，而是通过jni调用hadoop客户端jar包完成于hadoop的交互（不知这样说是否严禁）。所以如果调用libhdfs， 必须将所有jar包添加到
hadoop的hdfs
最新发布
03-11
### Hadoop HDFS 文件系统概述 HDFS (Hadoop Distributed File System) 是一种分布式文件系统，旨在运行于通用硬件之上。该文件系统的命名空间由单一树形结构组成，支持大文件存储并提供高吞吐量的数据访问[^1]。 #### 设计目标 为了实现高效可靠的大规模数据处理，HDFS 被设计成具有如下特性： - **大规模数据集的支持**：能够管理和存储超大数据集合。 - **流式数据访问**：优化读写操作以适应一次写入多次读取的应用场景。 - **容错能力**：通过冗余机制自动恢复节点故障带来的影响。 - **简单的一致性模型**：为应用程序提供了易于理解的行为模式[^2]。 #### 架构组件 HDFS 的架构主要包含两个核心组成部分： - **NameNode**: 作为主服务器负责管理文件系统的元数据信息以及客户端请求调度；维护着整个文件系统的目录树和每个文件对应的block位置列表。 - **DataNode**: 实际上保存用户上传的具体文件内容，并定期向 NameNode 报告自身的状态信息以便监控集群健康状况[^3]。 ```java // Java API 示例：创建一个新的文件到 HDFS 中 FileSystem fs = FileSystem.get(new Configuration()); Path path = new Path("/user/hdfs/testfile.txt"); FSDataOutputStream out = fs.create(path); out.writeBytes("This is a test file."); out.close(); fs.close(); ``` #### 数据复制策略 为了提高可靠性，HDFS 默认会将每一个 block 复制三份存放在不同的 DataNodes 上。当某个副本丢失时，系统可以迅速从其他可用副本来重建缺失的部分。这种多副本机制不仅增强了系统的鲁棒性和可用性，同时也提高了整体性能[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值