利用 Hadoop FileSystem listStatus 遍历文件目录实现HDFS操作

最新推荐文章于 2024-11-21 21:04:13 发布

原创最新推荐文章于 2024-11-21 21:04:13 发布 · 1.5w 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #遍历 #目录 #hdfs #listStatus

Hadoop 同时被 3 个专栏收录

11 篇文章

订阅专栏

HDFS

11 篇文章

订阅专栏

2.7

10 篇文章

订阅专栏

本文介绍如何使用Hadoop 2.7.0版本中的HadoopFileSystem API，通过listStatus方法遍历HDFS上的文件目录，并提供了一个具体的Java示例程序。该程序能够展示HDFS中所有文件及其属性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop 版本 2.7.0

利用 Hadoop FileSystem listStatus 遍历文件目录实现HDFS操作

package com.feng.test.hdfs.filesystem;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * 遍历文件目录
 * 远程调用机器 需要 liunx 修改 /etc/hosts 添加 10.11.12.4 master
 * @author feng
 *
 */
public class FileList {

    public static void main(String[] args) {
        FileSystem hdfs = null;
        try{
            Configuration config = new Configuration();
            // 程序配置
            config.set("fs.default.name", "hdfs://master:9000");
            //config.set("hadoop.job.ugi", "feng,111111");
            //config.set("hadoop.tmp.dir", "/tmp/hadoop-fengClient");
            //config.set("dfs.replication", "1");
            //config.set("mapred.job.tracker", "master:9001");

            hdfs = FileSystem.get(new URI("hdfs://master:9000"),
                    config, "feng");
            Path path = new Path("/");

            iteratorShowFiles(hdfs, path);

        }catch(Exception e){
            e.printStackTrace();
        }finally{
            if(hdfs != null){
                try {
                    hdfs.closeAll();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

    /**
     * 
     * @param hdfs FileSystem 对象
     * @param path 文件路径
     */
    public static void iteratorShowFiles(FileSystem hdfs, Path path){
        try{
            if(hdfs == null || path == null){
                return;
            }
            //获取文件列表
            FileStatus[] files = hdfs.listStatus(path);

            //展示文件信息
            for (int i = 0; i < files.length; i++) {
                try{
                    if(files[i].isDirectory()){
                        System.out.println(">>>" + files[i].getPath()
                                + ", dir owner:" + files[i].getOwner());
                        //递归调用
                        iteratorShowFiles(hdfs, files[i].getPath());
                    }else if(files[i].isFile()){
                        System.out.println("   " + files[i].getPath()
                                + ", length:" + files[i].getLen()
                                + ", owner:" + files[i].getOwner());
                    }
                }catch(Exception e){
                    e.printStackTrace();
                }
            }
        }catch(Exception e){
            e.printStackTrace();
        }
    }

}