常用HDFS操作

最新推荐文章于 2024-08-08 16:36:06 发布

原创

最新推荐文章于 2024-08-08 16:36:06 发布 · 1.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #常用操作 #字节流 #分布式系统

本文介绍了HDFS的基本操作，包括上传和下载文件，查看文件信息，列出目录内容，以及文件和目录的创建、删除、移动等。通过shell命令，用户可以轻松追加内容、修改权限，并在需要时进行安全的删除和移动操作。

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

//假设  /user/hadoop/input路径已存在 如没存在 在命令行输入 hadoop fs -mkdir -p /user/hadoop/input
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
String localFileName = "/home/hadoop/myfile.txt";
String remoteFileName = "/user/hadoop/input/myfile.txt";
Path localFilePath = new Path(localFileName);
Path remoteFilePath = new Path(remoteFileName);
FileSystem fs = FileSystem.get(conf);
		
if(!fs.exists(remoteFilePath)) {   ////远程文件不存在
		System.out.println("文件未在远程服务器存在");
		fs.copyFromLocalFile(localFilePath, remoteFilePath);
		System.out.println("文件已上传到服务器");
}else {   //远程文件已存在
		System.out.println("文件已在远程服务器存在，请选择下一步动作：1 覆盖 ；2  添加到文件末尾 ");
		int choice = 0;
		Scanner input  = new Scanner(System.in);
		choice = input.nextInt();
		switch(choice) {
		case 1:fs.copyFr