Hadoop问题记录：Wrong FS: hdfs://hp5-249:9000/, expected: file:///

最新推荐文章于 2021-05-16 22:17:09 发布
原创 最新推荐文章于 2021-05-16 22:17:09 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #调试 #eclipse #file

本文介绍了解决在Eclipse中运行Hadoop时遇到的文件操作错误的方法。通过复制核心配置文件到项目的bin目录下，可以顺利执行Hadoop任务。

一般在对文件操作的时候可能出现这个问题，可能是打开文件的时候出错，也可能是对目录进行遍历的时候出问题。


出现这种问题一般是在eclipse中运行hadoop的时候出现，直接切换到shell下发送命令，可能不会出现这个问题。


假设当前在eclipse的项目目录下，具体解决办法如下：

cp $HADOOP_HOME/etc/hadoop/core-site.xml ./bin
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml ./bin

接着在eclipse项目中点击右键-->Run as --> run on hadoop，就可以在控制台上正常输出信息了。

Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
qq_38147044的博客
09-19 1106
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///
GROWTH
09-17 5422
照着《Hadoop实战》写了一个程序： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/output, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.
Debugging “Wrong FS expected: file:///” exception from HDFS
caodaoxi的专栏
05-22 159
inShare The Performance Zone is supported by New Relic and AppDynamics. Both are leaders in the APM space with high-profile customers and massive cost reductions for those use...
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2936
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
Hadoop(1)：权限问题以及Wrong FS错误
Make My First Step
02-23 7642
记录一些问题。首先是权限的问题。在Eclipse下开发时候会遇到Permission Denied的状况。该权限即可(貌似不太安全，我看到有人是修改的配置文件，等我和大牛们讨论了再说) 1、权限的改法，以我的为例 ./hadoop fs -chmod -R 777 ~/hadoop/hadoop 2、关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分
Wrong FS: hdfs://xxx/xxx expected: file:///
weixin_30535913的博客
04-08 401
Eclipse调用HDFS API上传文件时出现了如下错误： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/Administrator, expected: file:/// at org.apache.hadoop.fs.FileSy...
hadoop异常： Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
wangjia55的专栏
11-17 5948
问题描述： 在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path); 通过试验发现，在分布式ha
Hive -error- 数据仓库问题：FAILED: SemanticException Unable to determine if hdfs://master:9000/user/hiv
99滴神
05-16 1115
说明：今天我将集群的主机名修改了，集群能正常启动，但启动hive后，从hive的其中一张表中获取数据出现错误 错误如下： FAILED: SemanticException Unable to determine if hdfs://master:9000/user/hive/warehouse/emp is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/ ...
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102/mydir, expected: file:///
最新发布
07-02
这个错误信息是在Java程序中运行时抛出的，具体来说是`...解决这个问题，你需要确认你的代码是否正确设置了路径，如果是针对本地文件的操作，应该使用`file:///mydir`，如果需要处理HDFS，应该使用相应的Hadoop API。
hadoop学习笔记（四）Wrong FS报错
ptrdu的专栏
05-04 1590
Wrong FS  expected: file:/// 问题  对于一个简单的hadoop api调用问题，经常出现以下报错： Configuration conf = new  Configuration（）； FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path(“/home/ptrdu/inp
异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///
pgwcumt的专栏
02-25 2879
  在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStre...
hadoop中Wrong FS: hdfs://localhost:9000/user/... expected: file:///解决方法
09-13 752
Path clear_path = new Path(args[1]); FileSystem fs = FileSystem.get(conf); fs.delete(clear_path);
java.lang.IllegalArgumentException: Wrong FS: expected: file:/// – Hadoop
dfds的专栏
07-28 817
这个问题有两种解决办法 1. Configuration configuration = new Configuration(); configuration.addResource(new Path("/etc/hadoop/conf/core-site.xml")); configuration.addResource(new Path("/etc/hadoop/conf
java读hdfs上文件报错：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
叫我泽西哥好吗？（手动滑稽 ‾◡◝）
10-22 2650
报错代码如下：FileSystem fs = FileSystem.get(new Configuration()); FSDataInputStream in = fs.open(new Path(filePath)); BufferedReader br = new BufferedReader(new InputStreamReader(in));原因是Configuration没有指定hdf
Wrong FS: hdfs://node2:8020/wc/output2, expected: file:///
yj2434的博客
08-06 380
程序在执行的过程，conf未识别出ＨＤＦＳ文件系统。 有2种修改办法： 1.ore-site.xml文件拷入src或resource中添加如下内容： fs.defaultFS hdfs://node2:9000 2.直接在代码中添加如下值 conf.set(“fs.defaultFS”, “hdfs://node2:9000”); ...
Wrong FS: hdfs://******, expected: file:///
qingyang0320的专栏
05-14 2612
运行spark-submit遇到如下报错：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected: file:/// 原因：conf.addResource(file:Path)的参数需要是一个Path类的实例，而不是String类的实例，所以如果这么写是不对
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///－－－异常解决方案
什么最重要？算法！！
07-01 4368
今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下：package IT0701;import java.io.IOException; import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils; import org.apach
java.lang.IllegalArgumentException: Wrong FS: hdfs://, expected: file:
zhunode的探索
04-10 1122
参考：https://stackoverflow.com/questions/32078441/wrong-fs-expected-file-when-trying-to-read-file-from-hdfs-in-java 解决办法：修改自己的访问文件方式，参照下文的方式进行修改。 原文如下： Try this: Configuration configuration = new ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值