idea上HDFS API练习之列出指定目录下的文件以及块的信息

最新推荐文章于 2025-02-01 15:58:40 发布

原创最新推荐文章于 2025-02-01 15:58:40 发布 · 596 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop

hadoop 专栏收录该内容

13 篇文章

订阅专栏

本文深入探讨了Hadoop HDFS文件系统的操作，通过Java代码展示了如何获取HDFS中文件的基本信息，包括路径、名称、长度、副本数、块数量及块所在节点，为理解HDFS的工作原理提供了实践指南。

代码：

package com.dtinone.hadooptest1.hsfsapi;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class CatFileAndBlockMessage {

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        conf.set("fs.defaultFS", "hdfs://master:9000");
        FileSystem fs = FileSystem.get(conf);

        /**
         * 列出指定的目录下的所有文件
         */
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        while (listFiles.hasNext()) {
            LocatedFileStatus file = listFiles.next();


            System.out.println(file.getPath() + "\t");
            System.out.println(file.getPath().getName() + "\t");
            System.out.println(file.getLen() + "\t");
            System.out.println(file.getReplication() + "\t");

            /**
             * blockLocations的长度是几？  是什么意义？
             *
             * 块的数量
             */
            BlockLocation[] blockLocations = file.getBlockLocations();
            System.out.println(blockLocations.length + "\t");

            for (BlockLocation bl : blockLocations) {
                String[] hosts = bl.getHosts();

                System.out.print(hosts[0] + "-" + hosts[1] + "\t");
            }
            System.out.println();

        }
    }
}

执行结果：

hdfs://master:9000/home/a.txt	
a.txt	
73	
3	
1	
localhost-slave2	
hdfs://master:9000/home/get.txt	
get.txt	
21	
3	
1	
slave2-slave1	
hdfs://master:9000/input/wordCount/word.txt	
word.txt	
840	
3	
1	
slave3-slave2	
hdfs://master:9000/opt/data/c.txt	
c.txt	
81	
4	
1	
localhost-slave1	
hdfs://master:9000/opt/data/plus.txt	
plus.txt	
146	
3	
1	
localhost-slave1	
hdfs://master:9000/output/wordCount/1/_SUCCESS	
_SUCCESS	
0	
3	
0	

hdfs://master:9000/output/wordCount/1/part-r-00000	
part-r-00000	
776	
3	
1	
localhost-slave3