hadoop运行报错Wrong FS: hdfs:/, expected: file:///

最新推荐文章于 2022-03-29 10:56:42 发布

转载最新推荐文章于 2022-03-29 10:56:42 发布 · 435 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xym4869/p/8807873.html

文章标签：

#大数据 #java #开发工具

本文解决了一个在使用Hadoop时遇到的错误，详细介绍了如何通过修改配置文件core-site.xml的路径来解决异常，提供了两种解决方案，一种是在代码中添加资源路径，另一种是将配置文件放置在工程的src目录下。

内容源自：https://blog.youkuaiyun.com/u014470581/article/details/51480600

报错信息：

Exception in thread "main" java.lang.reflect.InvocationTargetException  
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
        at java.lang.reflect.Method.invoke(Method.java:601)  
        at org.eclipse.jdt.internal.jarinjarloader.JarRsrcLoader.main(JarRsrcLoader.java:58)  
Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///  
        at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:642)  
        at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:69)  
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:419)  
        at org.apache.hadoop.fs.ChecksumFileSystem.mkdirs(ChecksumFileSystem.java:584)  
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:437)  
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)  
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)  
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)  
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)  
        at com.ailk.hadoopdemo.DFSOperator.main(DFSOperator.java:22)  
        ... 5 more

View Code

解决方法一：

mapreduce class添加：把core-site.xml的路径添加进去：

conf.addResource(new Path("/home/hadoop/conf/core-site.xml"));

解决方法二：

把hadoop集群上的core-site.xml和hdfs-site.xml放到工程的src目录下/resource下

转载于:https://www.cnblogs.com/xym4869/p/8807873.html