java操作hdfs文件系统

原创已于 2024-04-05 20:24:37 修改 · 386 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs java api

于 2018-05-13 20:40:39 首次发布

spark 教程专栏收录该内容

19 篇文章

订阅专栏

本文介绍如何使用Hadoop进行文件系统的配置及文件的读写操作。通过具体示例展示了如何获取文件系统实例、如何从本地文件系统写入文件到Hadoop文件系统以及如何从Hadoop文件系统中读取文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ads：

关注以下公众号查看更多文章

maven做如下配置

groupId:org.apache.hadoop
artifactId:hadoop-client

version:${hadoop.version}

代码如下：

获取文件系统

	private static FileSystem getFileSystem() throws Exception{
		Configuration conf = new Configuration();
		FileSystem fileSystem = FileSystem.get(conf);
		return fileSystem;
	}

写文件

	private static void write(String toFolder) throws Exception{
		FileSystem fileSystem = getFileSystem();
		fileSystem.delete(new Path(toFolder), true);
		FileInputStream in = null;
		FSDataOutputStream out = null;
		try {
			in = new FileInputStream(new File("E:\\1804211523.txt"));
			out = fileSystem.create(new Path(toFolder));
			IOUtils.copyBytes(in, out, 4096, false);
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}finally{
			IOUtils.closeStream(in);
			IOUtils.closeStream(out);
		}
		
	}

读取文件：

	private static void read(String filePath) throws Exception{
		//预处理，删除文件加
		FileSystem fileSystem = getFileSystem();
		Path path = new Path(filePath);
		FSDataInputStream inStream = null;
		//用文件系统操作路径
		try{
			inStream = fileSystem.open(path);
			IOUtils.copyBytes(inStream, System.out, 4096, false);
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			IOUtils.closeStream(inStream);
		}
	}