通过java读取HDFS的数据

最新推荐文章于 2023-09-05 17:02:50 发布

最新推荐文章于 2023-09-05 17:02:50 发布 · 186 阅读

文章标签：

#java #大数据

本文介绍如何通过JAVA直接读取HDFS中的文件，并详细解释了FSDataInputStream类的作用和使用方法，提供了完整的代码示例。


通过JAVA直接读取HDFS中的时候，一定会用到FSDataInputStream类，通过FSDataInputStream以流的形式从HDFS读数据代码如下：import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class FileReadFromHdfs {

	public static void main(String[] args) {
		try {
		String dsf = "hdfs://hadoop1:9000/tmp/wordcount/kkk.txt";
		Configuration conf = new Configuration();
		
		FileSystem fs = FileSystem.get(URI.create(dsf),conf);
		FSDataInputStream hdfsInStream = fs.open(new Path(dsf));
		
		byte[] ioBuffer = new byte[1024];
		int readLen = hdfsInStream.read(ioBuffer);
		while(readLen!=-1)
		{
			System.out.write(ioBuffer, 0, readLen);
			readLen = hdfsInStream.read(ioBuffer);
		}
		hdfsInStream.close();
		fs.close();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}

}

通过JAVA直接读取HDFS中的时候，一定会用到FSDataInputStream类，通过FSDataInputStream以流的形式从HDFS读数据

代码如下：