- hadoop fs -ls:
- 功能:用于列出指定目录下的文件和目录信息。
- hadoop fs -mkdir:
- 功能:创建指定的目录。
- hadoop fs -get:
- 功能:将 HDFS 上的文件下载至本地。
- hadoop fs -put:
- 功能:将本地文件上传至 HDFS
- hadoop fs -cat:
- 功能:查看文件内容。
- hadoop fs -rm:
- 功能:删除 HDFS 上的文件或目录。
用java向hdfs中写入数据
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.BufferedWriter;
import java.io.OutputStreamWriter;
import java.net.URI;
public class HDFSWriteExample {
public static void main(String[] args) {
// HDFS URI
String hdfsUri = "hdfs://localhost:9000";
// HDFS目标文件路径
String filePath = "/testzh/test.txt";
// 要写入的数据
String data = "张昊测试数据!";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfsUri);
FileSystem fs = null;
BufferedWriter br = null;
try {
// 获取HDFS文件系统实例
fs = FileSystem.get(URI.create(hdfsUri), conf);
// 创建输出流
Path path = new Path(filePath);
if (fs.exists(path)) {
fs.delete(path, true);
}
br = new BufferedWriter(new OutputStreamWriter(fs.create(path, true)));
// 写入数据
br.write(data);
br.flush();
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (br != null) {
br.close();
}
if (fs != null) {
fs.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
}