将HDFS文件当中部分字节读入本地

最新推荐文章于 2022-08-09 12:53:39 发布

娜拉日记

最新推荐文章于 2022-08-09 12:53:39 发布

阅读量1k

点赞数

分类专栏： Hadoop 文章标签： hadoop hdfs OutputStream

本文链接：https://blog.youkuaiyun.com/lingzi_zhou/article/details/17321879

版权

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种从Hadoop的HDFS中读取文件并将其写入本地文件系统的Java程序实现方法。程序通过跳过文件的前100字节，读取接下来的20字节数据，并将这些数据写入到指定的本地文件路径中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS文件：

Java程序：

import java.io.BufferedOutputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class FileFormHdfsToLocal {
	
	public static void main(String[] args) {
		
		String hdfs = args[0];
		String local = args[1];
		OutputStream out;
		
		try {
			out = new BufferedOutputStream(new FileOutputStream(local));
			
			Configuration conf = new Configuration();
			FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
			InputStream in = fs.open(new Path(hdfs));
			
			byte [] bytes = new byte [20];
			in.skip(100);      //跳过前100字节
			int readNumberOfBytes = in.read(bytes, 0, 20);     //读入第101至200字节
			
			out.write(bytes);
			out.flush();
			
			in.close();
			out.close();	
			
		} catch (FileNotFoundException e1) {	
			e1.printStackTrace();
		} catch (IOException e) {
				e.printStackTrace();
		}
	}
}

运行结果：