HDFS目录扫描

最新推荐文章于 2024-08-25 03:52:34 发布

Deegue

最新推荐文章于 2024-08-25 03:52:34 发布

阅读量690

点赞数 1

分类专栏： hadoop hdfs 文章标签： hdfs

本文链接：https://blog.youkuaiyun.com/zyzzxycj/article/details/106177517

版权

该博客主要介绍在HDFS中进行目录扫描的背景和实现方式，以支持数据治理，包括废弃文件和Hive表的检测与清理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、背景

为了分析HDFS文件生命周期，需要获取一定深度的HDFS目录。

用于数据治理-HDFS废弃文件、Hive废弃表检测与清理。

2、实现

    static final String         hdfsBaseDir = "hdfs://nameservice1:8020";
    static final int         	depth = 6;
    
    static       FileSystem     fs          = null;
    static       BufferedWriter out         = null;
    static       int            cacheNum    = 0;
    static       int            cnt         = 0;
    
	private static void listAllFiles(Path path) throws Exception {
   

        // 根据path.toString 可以过滤一些不需要扫描的目录
        
        FileStatus[] array = fs.listStatus(path);
        Path[] paths = FileUtil.stat2Paths(array);