Hadoop学习日记（六）——hdfs源码跟踪之打开输入流

最新推荐文章于 2025-08-06 21:50:08 发布

原创最新推荐文章于 2025-08-06 21:50:08 发布 · 158 阅读

0 ·

CC 4.0 BY-SA版权

本文深入探讨了Hadoop中HDFS从集群下载文件的过程，重点解析了fs.open方法的具体实现，通过源码跟踪理解HDFS如何处理输入流。

Hadoop学习日记（六）

2019.03.03

主题：hdfs源码跟踪之打开输入流

这部分内容的学习主要参考段海涛Hadoop基础p21.

对于如下的代码（功能是从hdfs集群上下载某个文件）：

Configuration conf=new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000/");

FileSystem fs=FileSystem.get(conf);

FSDataInputStream is=fs.open(new Path("......"));

FileOutputStream os=new FileOutputStream("......");

IOUtils.copy(is,os);

主要是跟踪fs.open(new Path("......"));里的具体流程。