java 文件系统及HDFS系统读取目录下文件对比

西电一枝花

于 2011-09-21 21:18:45 发布

阅读量2.6k

点赞数

分类专栏： Hadoop 文章标签： java recursion string path file exception

本文链接：https://blog.youkuaiyun.com/lilin_xdu/article/details/6798582

版权

Hadoop 专栏收录该内容

26 篇文章

订阅专栏

本文探讨了使用Java操作本地文件系统与Hadoop分布式文件系统(HDFS)在读取目录下文件时的差异。通过对两种方式的比较，分析它们在性能、适用场景和实现机制上的特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先 java实现

import java.io.File;

public class A {

 public static void  recursion(String root){
  File file = new File(root);
  File[] subFile = file.listFiles();
  for (int i = 0; i < subFile.length; i++) {
   if (subFile[i].isDirectory()) {
    System.out.println("目录: " + subFile[i].getName());
    recursion(subFile[i].getAbsolutePath());
   }else{
    System.out.println("文件: " + subFile[i].getName());
   }
  }
 }
 public static void main(String[] args) {
  recursion("D:/java");
 }
}

在搞下hadoop的

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;

publi static void main(String[] args) throws Exception{
String uri = args[0];
Configuration conf = new Configuration();
Filesystem fs = FileSystem.get(URI.create(uri),conf);
Path[] paths = new Path[args.length];
for(int i=0; i<paths.length;i++)
{
paths[i] = new Path(args[i]);
}
FileStatus[] status = fs.listStatus(Paths);

Path[] listedPaths = FileUtil.stat2Paths(status);
for(Path p: listedPaths){
System.out.println(p);
}
}