Hive DFSclient

最新推荐文章于 2024-09-08 09:55:46 发布

原创

最新推荐文章于 2024-09-08 09:55:46 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#多线程 #测试 #hadoop #集群 #jar

在开发Hive用户自定义函数(UDF)时，使用HDFS进行操作。虽然在本地测试时jar包运行正常，但部署到Hadoop集群的Hive环境中，出现了错误。问题可能涉及多线程、集群配置或HDFS权限。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近写hive的UDF，由于在UDF中操作了HDFS，测试jar包一直是正常的，但一到集群的hive环境中去测试就包错

java.io.IOException: Filesystem closed
	at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:272)
	at org.apache.hadoop.hdfs.DFSClient.access$900(DFSClient.java:71)
	at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.close(DFSClient.java:2085)
	at java.io.FilterInputStream.close(FilterInputStream.java:155)
	at org.apache.hadoop.io.compress.DecompressorStream.close(DecompressorStream.java:144)
	at com.hadoop.compression.lzo.LzopCodec$LzopInputStream.close(LzopCodec.java:413)
	at org.apache.hadoop.util.LineReader.close(LineReader.java:145)
	at com.hadoop.mapred.DeprecatedLzoLineRecordReader.close(DeprecatedLzoLineRecordReader.java:109)
	at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.doClose(CombineHiveRecordReader.java:74)
	at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.close(HiveContextAwareRecordReader.java:55)
	at org.apache.hadoop.