Hadoop（二）——HDFS的 I/O 流操作

最新推荐文章于 2025-04-13 09:44:00 发布

原创

最新推荐文章于 2025-04-13 09:44:00 发布 · 263 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文介绍了如何使用API进行HDFS的I/O流操作，包括文件上传、下载及大文件分块读取。通过代码示例展示了将本地文件上传到HDFS根目录，从HDFS下载文件到本地D盘，以及分块读取HDFS上大文件的实现过程。

API操作的HDFS系统都是框架封装好的，可以采用 I/O 流的方式实现数据的上传和下载。

HDFS文件上传

1、需求：将本地D盘上的honglou.txt文件上传到HDFS根目录
2、代码块


@Test
public void putFileToHDFS() throws IOException,InterruptedException,URISyntaxException{
   
   
	//1、获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop101:9000"),configuration,"root");

	//2、创建输入流
	FileInputStream fis = new FileInputStream(new Path("d:/honglou.txt"));

	//3、获取输出流
	FSDataOutputStream fos = fs.create(new Path("/honglou.txt"));

	//4、流对拷
	IOUtils.closeStream(fos);
	IOUtils.closeStream(fis);
	fs