Hadoop读写Hdfs系统文件_hadoop并发读写hdfs文件-优快云博客

本文介绍了如何使用Hadoop API进行HDFS文件的读写操作，包括添加必要的引用、读取文件内容、写入字符串到文件等步骤，并提及了这些操作既可以在MapReduce任务中执行，也可以在主程序中实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop读写Hdfs系统文件

第一，在程序添加相关引用。
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

第二，读取文件。
FileSystem hdfs = FileSystem.get(conf);
Path inPath = new Path("/user/asr/in-temp");
//
FSDataInputStream dis = hdfs.open(inPath);
FileStatus stat = hdfs.getFileStatus(inPath);
//
byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
dis.readFully(0, buffer);
String str= Bytes.toString(buffer);

第三，写出文件。
FSDataOutputStream dos = hdfs.create(tmpPath1);
String utf8 = "UTF-8";
//
dos.write("/r/n".getBytes(utf8));
dos.write("//ceshi//".getBytes(utf8));
dos.write("/r/n".getBytes(utf8));
Date dat = new Date();
dos.write(dat.toString().getBytes());
dos.close();

第四，可以在map和reduce的方法中使用，在datanode节点执行；
也可以在main方法中执行，在namenode节点执行。
但是在main方法执行的时候，本机调试的时候，需要把FileSystem.getLocal(conf);