Spark 读取hdfs上的文件 错误：Caused by: java.io.IOException: Filesystem closed的处理

最新推荐文章于 2023-05-21 16:37:59 发布
最新推荐文章于 2023-05-21 16:37:59 发布
阅读量4.4k 收藏 2
点赞数 1
分类专栏： Spark-RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nysyxxg/article/details/61196279
版权
本文介绍了解决HDFS中文件读取异常的方法。包括修改源代码使用`newInstance`替代`get`方法，以及调整`hdfscore-site.xml`配置文件中的`fs.hdfs.impl.disable.cache`参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

操作方式：使用HDFS的API 直接读取文件：



 

解决办法：

第一种方法：

源代码：FileSystem  fs = FileSystem.get(URI.create(hdfsFilePath), config);

改为： FileSystem  fs = FileSystem.newInstance(URI.create(hdfsFilePath), config);

第二种方法：

在hdfs core-site.xml里把fs.hdfs.impl.disable.cache设置为true
多个datanode在getFileSystem过程中，由于Configuration一样，会得到同一个FileSystem。如果有一个datanode在使用完关闭连接，其它的datanode在访问就会出现上述异常

 

 
 
  

 

 

 


 

                

        

    

  



    


                



	

		

			

				
					
【hadoop】java.io.IOException: No FileSystem for scheme: hdfs

				
			

			

				

					九师兄
				

				

					10-22
					
					3089
					
				

			

		

		

			
				
异常
 java.io.IOException: No FileSystem for scheme: hdfs

我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。
hadoop解决：
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")


...

			
		

	



                

            
              



	

		

			

				
					
hive启动报错：Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: ns1

				
			

			

				

					hair请的的博客
				

				

					10-22
					
					5105
					
				

			

		

		

			
				
hive启动的时候报一下错误：


Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: ns1

看一下完整版的报错信息：


Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable 

			
		

	



              


  
              

                


	

		

			

				
					
Caused by: java.io.IOException: Filesystem closed的处理

				
			

			

				

					数据之路
				

				

					01-24
					
					7884
					
				

			

		

		

			
				
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wifi_day_data/tid=CYJOY/.hive-staging_hive_2016-01-20_10-19-09_200_1

			
		

	





	

		

			

				
					
spark运行报错：java.io.IOException: Connection reset by peer

				
			

			

				

					GOGOFREE的博客
				

				

					01-02
					
					4476
					
				

			

		

		

			
				
大神们，请看下这个错误！！！

2019-01-02 15:43:55  [ rpc-server-3-3:318175 ] - [ WARN ]  Exception in connection from /10.216.44.41:56770
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDisp...

			
		

	



		

			
		



	

		

			

				
					
Filesystem closed

				
			

			

				

					苏格拉底的毒堇汁
				

				

					11-11
					
					3830
					
				

			

		

		

			
				
java.io.IOException: Filesystem closed
	at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:232)
	at org.apache.hadoop.hdfs.DFSClient.access$600(DFSClient.java:70)
	at org.apache.hadoop.hdfs.

			
		

	





	

		

			

				
					
Flink算子间数据传递模式

				
			

			

				

					数据工匠记
				

				

					03-18
					
					1986
					
				

			

		

		

			
				
算子之间传输数据的形式可以是one-to-one (forwarding)的模式也可以是redistributing的模式，具体是哪一种形式，取决于算子的种类。


One-to-one： Stream(比如在 source 和 map operator 之间)维护着分区以及元素的顺序。那意味着 map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同，map、fliter、flatMap 等算子都是 one-to-one 的对应关系（类似于 spark 中的窄依

			
		

	





	

		

			

				
					
spark报错：java.io.IOException: Filesystem closed

				
			

			

				

					helloxiaozhe的博客
				

				

					01-29
					
					4714
					
				

			

		

		

			
				
1.问题描述

往集群提交任务的时候，需要在hdfs上面读取一个资源文件。在读取该资源文件的时候，代码报错出如下：


2021-01-29 09:48:29,023 ERROR scheduler.AsyncEventQueue: Listener EventLoggingListener threw an exception
java.io.IOException: Filesystem closed
	at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSC

			
		

	





	

		

			

				
					
java.io.IOException: Filesystem closed

					
热门推荐

				
			

			

				

					bitcarmanlee的博客
				

				

					03-30
					
					1万+
					
				

			

		

		

			
				
1.问题描述往集群提交任务的时候，需要在hdfs上面读取一个资源文件。在读取该资源文件的时候，代码爆出如下异常：Error: java.io.IOException: Filesystem closed
    at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:823)
    at org.apache.hadoop.hdfs

			
		

	





	

		

			

				
					
hadoop  Caused by: java.io.IOException: Filesystem closed

				
			

			

				

					tttjjjlll的专栏
				

				

					02-25
					
					498
					
				

			

		

		

			
				
今天在执行hive的时候报了下面的错:

[code="java"]
 2014-02-25 09:07:20,021 INFO [IPC Server handler 17 on 60055] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1393225005206_083...

			
		

	





	

		

			

				
					
java.io.IOException: No FileSystem for scheme: file  spark hadoop

				
			

			

				

					张月鹏的博客
				

				

					11-23
					
					4528
					
				

			

		

		

			
				
在spark实例程序中报错：No FileSystem for scheme: file

			
		

	





	

		

			

				
					
用eclipse进行MapReduce编程出现java.io.IOException: No FileSystem for scheme: hdfs解决方法

				
			

			

				

					m0_58945994的博客
				

				

					12-13
					
					1291
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
Hadoop：HDFS – java.lang.NoSuchMethodError：org.apache.hadoop.fs.FSOutputSummer。（Ljava / util / zip / ...

				
			

			

				

					最佳 Java 编程
				

				

					06-23
					
					483
					
				

			

		

		

			
				
我想编写一个小程序来检查一台机器是否可以与在另一台机器上运行的HDFS服务器进行通信，并修改Hadoop Wiki中的某些代码 ，如下所示： 
package org.playground;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import ...

			
		

	





	

		

			

				
					
Caused by: java.io.IOException: Filesystem closed 操作文件系统时习惯性的关流

				
			

			

				

					hongchenshijie的博客
				

				

					11-26
					
					1615
					
				

			

		

		

			
				
错误:

发生原因:
filesystem被关闭了
解决办法




			
		

	





	

		

			

				
					
hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed

				
			

			

				

					ZeroKoop
				

				

					02-28
					
					1012
					
				

			

		

		

			
				
参考链接
1、创建文件系统实例的时候使用下面：
 FileSystem  fs=FileSystem.newInstance(conf);
而不是：fs = FileSystem.get(conf);




			
		

	





	

		

			

				
					
java.io.IOException: Filesystem closed问题解决

				
			

			

				

					Superbaby_babe的博客
				

				

					10-11
					
					2275
					
				

			

		

		

			
				
往HDFS中上传一个文件时候，代码爆出如下异常
之前使一直是没有问题的，想到肯定是某个位置把FileSystem给关闭了。去查找代码的时候，果不其然，在前面下载文件的代码中，把filesystem给关闭了，如下图所示：

于是，重新创建一个没有关闭fs的方法
depoly common项目
depoly上去之后，在项目中直接刷新maven就可以调用新方法了，如下图所示：

...

			
		

	





	

		

			

				
					
hdfs写文件报错java.io.IOException: Filesystem closed

				
			

			

				

					laimao8079的博客
				

				

					03-28
					
					1298
					
				

			

		

		

			
				
创建文件系统实例的时候使用下面：

FileSystem fs=FileSystem.newInstance(conf);

而不是用：fs = FileSystem.get(conf);

参考：https://blog.csdn.net/qiumengkai/article/details/48682143

参考：http://itxw.net/article/140.html

Fil...

			
		

	





	

		

			

				
					
Hive 使用 create table as 语句出现 java.io.IOException: Filesystem closed 异常

				
			

			

				

					SUNK2014的博客
				

				

					05-21
					
					788
					
				

			

		

		

			
				
最近在使用新搭建的 Hive 环境进行测试的时候出现了莫名的错误信息 java.io.IOException: Filesystem closed，最一开始搭建的时候，进行建表、数据查询等操作都没有这个问题，直到最近才发现这个问题，具体的报错信息如下。
查看报错信息也没有找到具体的原因，只有文件 IO 异常。后来找到了原因，是 create table as select xxx 这种类型的 sql 导致 Hive 与 Hdfs 交互时文件未正常关闭，所以将问题以及解决方案在此记录一下。

			
		

	





	

		

			

				
					
【错误处理】hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed

				
			

			

				

					victorzzzz的专栏
				

				

					05-22
					
					4231
					
				

			

		

		

			
				
报错信息：java.io.IOException: Filesystem closed

参考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7

参考：https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blo...

			
		

	





	

		

			

				
					
Hadoop2.7.3报错java.io.IOException: No FileSystem for scheme: hdfs

					
最新发布

				
			

			

				

					03-29
				

			

		

		

			
				
</think>### Hadoop 2.7.3中"java.io.IOException: No FileSystem for scheme: hdfs"解决方案  #### 问题原因 该错误表明Hadoop客户端无法识别`hdfs://`协议，**核心原因是缺少HDFS文件系统实现类的注册**。Hadoop...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值