HDFS工具类

本文介绍了一种在Java中获取Hadoop HDFS文件系统的方法,包括配置参数和异常处理。该方法支持从指定URL获取文件系统实例,适用于本地测试和集群部署。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

public class HdfsUtils {
    public static FileSystem getFileSystem(String hdfsUrl) {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS",hdfsUrl);
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        conf.set("dfs.client.read.shortcircuit","true");
        conf.set("dfs.domain.socket.path","/var/lib/hadoop-hdfs/dn_socket");
        //conf.addResource("hdfs-site.xml");
        String username= ConfigurationManager.getProperty(Constants.HADOOP_USER_NAME);
        System.setProperty("HADOOP_USER_NAME", username);

        // 文件系统
        FileSystem fs=null;
        if (org.apache.commons.lang.StringUtils.isBlank(hdfsUrl)) {
            // 返回默认文件系统  如果在 Hadoop集群下运行,使用此种方法可直接获取默认文件系统
            try {
                fs = FileSystem.get(conf);
                fs.close();
            } catch (IOException e) {
                e.printStackTrace();
                //logger.error("", e);
            }
        } else {
            // 返回指定的文件系统,如果在本地测试,需要使用此种方法获取文件系统
            try {
                fs = FileSystem.get(URI.create(hdfsUrl.trim()), conf);
            } catch (IOException e) {
                e.printStackTrace();
                //logger.error("", e);
            }
        }
        return fs;
    }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值