Hadoop使用java查询HDFS 错误：Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///

最新推荐文章于 2023-06-16 14:28:29 发布

a921122

最新推荐文章于 2023-06-16 14:28:29 发布

阅读量9.6k

点赞数

分类专栏：大数据技术文章标签： hdfs

本文链接：https://blog.youkuaiyun.com/a921122/article/details/23170261

版权

大数据技术专栏收录该内容

5 篇文章

订阅专栏

本文探讨了在使用Java插件对HDFS进行操作时遇到的问题，特别是路径配置错误导致查询结果为空的解决方案。通过将路径从本地文件系统格式更改为HDFS格式，并在伪分布式环境下正确配置，成功解决了查询失败的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用java插件对hdfs进行操作的时候，查询hdfs出错，原始部分代码如下：

  static Configuration conf = new Configuration();
  public static void main(String[] args)throws IOException {
    FileSystem fs = FileSystem.get(conf);
    Path path = new Path("/user/hadoop");
    getFile(path,fs);
    fs.close();
  }

查询的结果是什么都没有，事实上下面本来应该有内容的。我想了一下，把路径改成这样：

  static Configuration conf = new Configuration();
   public static void main(String[] args)throws IOException {
    FileSystem fs = FileSystem.get(conf);
    Path path = new Path("hdfs://localhost:9000/user/hadoop");
    getFile(path,fs);
    fs.close();
  }

结果报错：

Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///
at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:390)
at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:55)
at org.apache.hadoop.fs.RawLocalFileSystem.listStatus(RawLocalFileSystem.java:312)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:862)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:887)
at org.apache.hadoop.fs.ChecksumFileSystem.listStatus(ChecksumFileSystem.java:487)
at GetFile.getFile(GetFile.java:35)
at GetFile.main(GetFile.java:29)

在网上查找以后，发现原因在于单机和伪分布式的用法不一样，伪分布式下需要使用Path来获得，正确的代码如下：

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class GetFile {  
	  public static void main(String[] args)throws IOException {
		 Configuration conf = new Configuration();
	    FileSystem fs;
	    Path path = new Path("hdfs://localhost:9000/user/hadoop");
	    fs=path.getFileSystem(conf);
	    getFile(path,fs);
	    fs.close();
	  }  
  public static void getFile(Path path,FileSystem fs) throws IOException {
    
    FileStatus[] fileStatus = fs.listStatus(path);
    for(int i=0;i<fileStatus.length;i++){
      if(fileStatus[i].isDir()){
        Path p = new Path(fileStatus[i].getPath().toString());
        getFile(p,fs);
      }else{
        System.out.println(fileStatus[i].getPath().toString());
      }
    }
  }
}