Wrong FS: hdfs://******, expected: file:///

最新推荐文章于 2020-04-10 22:49:10 发布
最新推荐文章于 2020-04-10 22:49:10 发布
阅读量2.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： scala hadoop spark wordcount
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qingyang0320/article/details/51412984
本文介绍了在使用spark-submit时遇到的一个常见配置错误：传递给conf.addResource方法的参数类型不正确，并提供了正确的解决方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

运行spark-submit遇到如下报错：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected: file:///

原因：conf.addResource(file:Path)的参数需要是一个Path类的实例，而不是String类的实例，所以如果这么写是不对的：conf.addResource("/opt/hadoop-2.6.0/etc/hadoop/core-site.xml")


解决方法：正确写法是conf.addResource(new Path("/opt/hadoop-2.6.0/etc/hadoop/core-site.xml"))


java读hdfs上文件报错：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
叫我泽西哥好吗？（手动滑稽 ‾◡◝）
10-22 2626
报错代码如下：FileSystem fs = FileSystem.get(new Configuration()); FSDataInputStream in = fs.open(new Path(filePath)); BufferedReader br = new BufferedReader(new InputStreamReader(in));原因是Configuration没有指定hdf
Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
qq_38147044的博客
09-19 1064
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
Debugging “Wrong FS expected: file:///” exception from HDFS
caodaoxi的专栏
05-22 150
inShare The Performance Zone is supported by New Relic and AppDynamics. Both are leaders in the APM space with high-profile customers and massive cost reductions for those use...
Wrong FS: hdfs:, expected:file:///
yxdayd的专栏
10-24 5747
这是在对hdfs进行写入操作时发现的错误，最终解决了，给大家分享一下，希望对遇到同样问题的朋友
Spark: Wrong FS: hdfs://localhost:9000/user/... expected: file:///
很吵请安静
03-17 2194
在CommonUtils 里面写个对于HDFS路径操作的方法，在保存文件前查看文件是否存在，如果存在则先删除。删除的函数如下所示 def pathDelete(path:String, sc: SparkContext): Unit ={ val fs = FileSystem.get(sc.hadoopConfiguration) if (fs.exists(new Path...
java.lang.IllegalArgumentException: Wrong FS: expected: file:/// – Hadoop
dfds的专栏
07-28 804
这个问题有两种解决办法 1. Configuration configuration = new Configuration(); configuration.addResource(new Path("/etc/hadoop/conf/core-site.xml")); configuration.addResource(new Path("/etc/hadoop/conf
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
Hadoop问题记录：Wrong FS: hdfs://hp5-249:9000/, expected: file:///
相信并热爱着
11-08 1571
一般在对文件操作的时候可能出现这个问题，可能是打开文件的时候出错，也可能是对目录进行遍历的时候出问题。 出现这种问题一般是在eclipse中运行hadoop的时候出现，直接切换到shell下发送命令，可能不会出现这个问题。 假设当前在eclipse的项目目录下，具体解决办法如下：
java.lang.IllegalArgumentException: Wrong FS: hdfs://, expected: file:
zhunode的探索
04-10 1100
参考：https://stackoverflow.com/questions/32078441/wrong-fs-expected-file-when-trying-to-read-file-from-hdfs-in-java 解决办法：修改自己的访问文件方式，参照下文的方式进行修改。 原文如下： Try this: Configuration configuration = new ...
hadoop报错Wrong FS: hdfs:/, expected: file:///
yangbosos的博客
04-04 5038
在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///...
Wrong FS: hdfs://xxx/xxx expected: file:///
weixin_30535913的博客
04-08 379
Eclipse调用HDFS API上传文件时出现了如下错误： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/Administrator, expected: file:/// at org.apache.hadoop.fs.FileSy...
异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///
pgwcumt的专栏
02-25 2854
  在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStre...
hadoop学习笔记（四）Wrong FS报错
ptrdu的专栏
05-04 1543
Wrong FS  expected: file:/// 问题  对于一个简单的hadoop api调用问题，经常出现以下报错： Configuration conf = new  Configuration（）； FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path(“/home/ptrdu/inp
Hbase java.lang.IllegalArgumentException: Wrong FS file://......expected:hdfs://...
BestbpF的博客
10-25 896
在使用hbase中importtsv这个功能进行BULK LODING的时候，使用 -Dimporttsv.bulk.output=hdfs://BPF:9000/user/bpf/hbase/hfileoutput这一参数，老是发生标题所说的错误，苦苦没有解决，后来突然在网上看到一位网友的帖子，将hadoop的core-site.xml配置文件中的hadoop.tmp.dir属性值由本地路径改
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2912
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
haoop下运行程序时出现错误：Hadoop HDFS Wrong FS: hdfs:/ expected file:///
weixin_30617561的博客
06-09 379
如题，在eclipse编写hadoop程序并运行时，会出现Hadoop HDFS Wrong FS: hdfs:/ expected file:///的错误。经过网上baidu,google后发现，上面的一些方法不适用于我所写的程序。故而将解决方法在此和大家分享一些，希望有所帮助。 首先，先看一下代码： 1 package com.bing.file...
HDFS Router-based Federation
weixin_30867015的博客
07-11 884
本文讲述了 HDFS Router-based Federation 的架构和特性。上期回顾：漫谈Hbase FilterAbstractHadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管...
Expected authority at index 7: hdfs://
星.云计算
09-25 654
hadoop版本：1.0.4 今天在跑TestForest的时候，居然出现了这个问题： Exception in thread "main" java.lang.IllegalArgumentException: Expected authority at index 7: hdfs:// at java.net.URI.create(URI.java:859) at org.apac...
java.lang.IllegalArgumentException: Wrong FS://expected: file:///
ZH519080的博客
08-08 7143
有错误提示file:///的提示信息是想需要本地文件系统（file:///为本地文件系统标识）,代码无法识别HDFS文件系统，需要在Configuration中配置相应的参数。 如何来配置Configuration参数？ 使用hadoop-2.6.0（因为我用的是apache-hadoop-2.6.0版本）的core-site.xml（/HADOOP_HOME/etc/hadoop/）的fs.
Wrong FS: hdfs://master:9000/hotel_data3/part-00000, expected: file:///
最新发布
11-01
这个错误提示表明程序在尝试访问HDFS文件系统时出现了问题。错误信息中的“Wrong FS”表示程序正在尝试访问错误的文件系统，即它正在尝试访问HDFS文件系统，但是实际上应该访问本地文件系统。因此，程序期望的文件系统应该是“file:///”，而不是“hdfs://master:9000/”。 可能的原因是在程序中配置了错误的文件系统路径。请检查程序中的配置文件，确保文件系统路径正确。另外，还需要确保HDFS服务正在运行，并且可以通过“hdfs://master:9000/”路径访问。如果HDFS服务未运行，则需要启动它。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞鸿踏雪Ben归来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值