Hadoop（二）——HDFS的 I/O 流操作

五花尾巴

于 2020-07-01 17:50:00 发布

阅读量241

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/NotMeYa/article/details/107066920

本文介绍了如何使用API进行HDFS的I/O流操作，包括文件上传、下载及大文件分块读取。通过代码示例展示了将本地文件上传到HDFS根目录，从HDFS下载文件到本地D盘，以及分块读取HDFS上大文件的实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

API操作的HDFS系统都是框架封装好的，可以采用 I/O 流的方式实现数据的上传和下载。

HDFS文件上传

1、需求：将本地D盘上的honglou.txt文件上传到HDFS根目录
2、代码块


@Test
public void putFileToHDFS() throws IOException,InterruptedException,URISyntaxException{
   
   
	//1、获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop101:9000"),configuration,"root");

	//2、创建输入流
	FileInputStream fis = new FileInputStream(new Path("d:/honglou.txt"));

	//3、获取输出流
	FSDataOutputStream fos = fs.create(new Path("/honglou.txt"));

	//4、流对拷
	IOUtils.closeStream(fos);
	IOUtils.closeStream(fis);
	fs