HDFS工具类

最新推荐文章于 2023-04-27 08:56:06 发布

原创最新推荐文章于 2023-04-27 08:56:06 发布 · 408 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #HDFS #工具类

java程序设计同时被 2 个专栏收录

20 篇文章

订阅专栏

hadoop

9 篇文章

订阅专栏

本文介绍了一种在Java中获取Hadoop HDFS文件系统的方法，包括配置参数和异常处理。该方法支持从指定URL获取文件系统实例，适用于本地测试和集群部署。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

public class HdfsUtils {
    public static FileSystem getFileSystem(String hdfsUrl) {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS",hdfsUrl);
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        conf.set("dfs.client.read.shortcircuit","true");
        conf.set("dfs.domain.socket.path","/var/lib/hadoop-hdfs/dn_socket");
        //conf.addResource("hdfs-site.xml");
        String username= ConfigurationManager.getProperty(Constants.HADOOP_USER_NAME);
        System.setProperty("HADOOP_USER_NAME", username);

        // 文件系统
        FileSystem fs=null;
        if (org.apache.commons.lang.StringUtils.isBlank(hdfsUrl)) {
            // 返回默认文件系统  如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统
            try {
                fs = FileSystem.get(conf);
                fs.close();
            } catch (IOException e) {
                e.printStackTrace();
                //logger.error("", e);
            }
        } else {
            // 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统
            try {
                fs = FileSystem.get(URI.create(hdfsUrl.trim()), conf);
            } catch (IOException e) {
                e.printStackTrace();
                //logger.error("", e);
            }
        }
        return fs;
    }
}