hadoop异常： Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///

最新推荐文章于 2022-04-27 11:55:06 发布
原创 最新推荐文章于 2022-04-27 11:55:06 发布 · 5.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在本地运行Hadoop Map/Reduce程序时，遇到'Wrong FS'错误，通常涉及hdfs文件操作。该错误在分布式集群上不出现，但在本机伪分布式环境下发生。解决方法包括：1) 通过Path获取FileSystem；2) 将hdfs-site.xml和core-site.xml复制到项目目录下。
问题描述：
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码：
1  Path clear_path  =  
最低0.47元/天 解锁文章
访问Hdfs文件,文件明明存在却报错说文件不存在的问题解决
爱米酱的博客
09-27 5875
今天在访问hdfs文件的时候出现了一个奇怪的问题，我去访问 /user/hive/warehouse/ 下的一个表文件的时候，明明这个文件存在，可是在访问的时候后台就是报错这个文件不存在。 这是因为需要显式指定 Hadoop 配置项 “fs.defaultFS”； conf.set("fs.defaultFS", "hdfs://localhost:9000"); //没有这一项会报错 FileSystem fs = FileSystem.get(conf); ...
Hadoop 问题java.lang.IllegalArgumentException Wrong FS: hdfs://192.168
rosboy的专栏
12-04 9314
在看hadoop in action 的时候，关于hdfs的操作地方，抄写代码PutMerge到eclipse上，出现了错误 Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:/ 然后，上网查找了一下这个错误，说是将core-site.xml 和hdfs-site.xml拷贝到项目里去就可以，原因是访问远程的H
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2935
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
hadoop自动故障转移集群搭建详解
weixin_40548182的博客
04-27 2304
web界面传文件报错 proxyserver进程没启动 2022-04-24 18:48:47,598 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Got finalize command for block pool BP-379694539-192.168.103.232-1650785972850 2022-04-24 18:49:35,435 ERROR org.apache.hadoop.hdfs.server.datanode.Da
hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///
whb3299065的博客
10-04 3963
Java调用hadoop时出现报错：java.lang.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:/// 错误分析： hdfs是一种uri路径，hadoop并不认识hdfs：这种格式，后面提示：file:/// 这是一种本地文件系统，由此可见这里要求我们传入一个本地文件系统。
Wrong FS: hdfs://localhost:9000/input, expected: file:///
scalad
10-28 5492
使用java对hadoop操作的时候出现错误Wrong FS: hdfs://localhost:9000/input, expected: file:///，错误信息如下 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j
Wrong FS: hdfs://192.168.121.131:9000/data, expected: file:///
06-12
您提供的路径"hdfs://192.168.121.131:9000/data"是Hadoop分布式文件系统中的一个路径，但是您的程序期望的是"file:///"本地文件系统的路径。 您需要检查您的程序中使用的路径，确保它与您想要使用的文件系统兼容。...
hdfs://192.168.10.111:9000/user/test, expected: file:///
09-08
根据提供的引用内容，hdfs://192.168.10.111:9000/user/test的预期路径应该是file:///。这个路径的预期格式是file:///[本地文件系统路径]，表示文件存储在本地文件系统中。在Hadoop中，HDFS路径使用hdfs://[HDFS地址...
Wrong FS: hdfs expected: file:
曾经是个DBA
07-10 1121
场景：错误java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:/// 异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///   在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示
java.lang.IllegalArgumentException: Wrong FS: hdfs://, expected: file:
zhunode的探索
04-10 1122
参考：https://stackoverflow.com/questions/32078441/wrong-fs-expected-file-when-trying-to-read-file-from-hdfs-in-java 解决办法：修改自己的访问文件方式，参照下文的方式进行修改。 原文如下： Try this: Configuration configuration = new ...
hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
小倔驴
07-22 2244
FileSystem fs = FileSystem.get(conf); in=fs.open(newPath("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 抛出异常：Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: h
Wrong FS: hdfs://node2:8020/wc/output2, expected: file:///
yj2434的博客
08-06 379
程序在执行的过程，conf未识别出ＨＤＦＳ文件系统。 有2种修改办法： 1.ore-site.xml文件拷入src或resource中添加如下内容： fs.defaultFS hdfs://node2:9000 2.直接在代码中添加如下值 conf.set(“fs.defaultFS”, “hdfs://node2:9000”); ...
hadoop报错Wrong FS: hdfs:/, expected: file:///
yangbosos的博客
04-04 5074
在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///...
Spark: Wrong FS: hdfs://localhost:9000/user/... expected: file:///
很吵请安静
03-17 2298
在CommonUtils 里面写个对于HDFS路径操作的方法，在保存文件前查看文件是否存在，如果存在则先删除。删除的函数如下所示 def pathDelete(path:String, sc: SparkContext): Unit ={ val fs = FileSystem.get(sc.hadoopConfiguration) if (fs.exists(new Path...
Hadoop问题记录：Wrong FS: hdfs://hp5-249:9000/, expected: file:///
weixin_33991727的博客
06-15 151
一般在对文件操作的时候可能出现这个问题，可能是打开文件的时候出错，也可能是对文件夹进行遍历的时候出问题。 出现这样的问题通常是在eclipse中执行hadoop的时候出现，直接切换到shell下发送命令。可能不会出现这个问题。 如果当前在eclipse的项目文件夹下，详细解决的方法例如以下： cp $HADOOP_HOME/etc/hadoop/core-site.x...
异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///
pgwcumt的专栏
02-25 2879
  在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStre...
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///－－－异常解决方案
什么最重要？算法！！
07-01 4366
今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下：package IT0701;import java.io.IOException; import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils; import org.apach
Wrong FS: hdfs://xxx/xxx expected: file:///
weixin_30535913的博客
04-08 400
Eclipse调用HDFS API上传文件时出现了如下错误： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/Administrator, expected: file:/// at org.apache.hadoop.fs.FileSy...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值