java访问 HDFS文件资源

最新推荐文章于 2023-09-06 10:48:29 发布

原创最新推荐文章于 2023-09-06 10:48:29 发布 · 855 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop 文件访问

hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文介绍通过Java程序操作HDFS的两种方法：一种是使用URLStreamHandlerFactory自定义工厂类来处理HDFS路径；另一种是利用Hadoop API中的FileSystem类进行文件系统的操作。这两种方法均可用于从HDFS中读取文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.工程中引入的依赖

		<dependency>
			<groupId> org.apache.hadoop</groupId>
			<artifactId>hadoop-client </artifactId>
			<version>2.6.0</version>
		</dependency>

2.两种实现机制

实现1：

static{
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) throws Exception
    {
        String hdfsAddress="hdfs://localhost";
      
        InputStream in = new URL(hdfsAddress+"/henry/log/access.log-2015-01-19").openStream();
        //System.out.println(in);
        IOUtils.copyBytes(in, System.out, 4096, false);
        IOUtils.closeStream(in);
    }

实现2:

public static void main(String[] args) throws Exception
    {
        String hdfsAddress="hdfs://localhost";
       
        String uri = hdfsAddress+"/henry/log/access.log-2015-01-19";
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        InputStream in = fs.open(new Path(uri));
        
        IOUtils.copyBytes(in, System.out, 4096, false);
        IOUtils.closeStream(in);
    }