Hadoop:HDFS API二次开发实验

最新推荐文章于 2022-12-09 11:44:23 发布
最新推荐文章于 2022-12-09 11:44:23 发布
阅读量827 收藏 1
点赞数
分类专栏： Hadoop大数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kkill_youokk_/article/details/117627499
版权

目录


在1号机中命令行： 

su
输入密码

启动hdfs集群

start-dfs.sh

1.HDFS的读操作实验

到Client端：
创建一个文件

su
输入密码
vi /root/words.txt

输入：

hello world
this is a test file
for learning

将文件上传到hdfs服务器的根目录：

hdfs dfs -put /root/words.txt /

查看文件是否上传成功：

hdfs dfs -ls /

查看文件内容：

hdfs dfs -cat /words.txt

打开eclipse：

cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前RPC通信实验的rpc包中：（为了方便，也可以新建项目）
右键rpc包-New-Class
Name填HDFS_API
-Finish
写入：

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
}

再新建一个测试类：testAPI，并在其中编写测试代码：
右键rpc包-New-Class
Name填testAPI
勾选main方法
-Finish
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		hdfs.testRead();

	}

}

鼠标点到main方法中
Run As-1 Java Application
便读取出服务上要访问的hdfs中文件的内容：
在这里插入图片描述

2.HDFS的写操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个写方法：

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
}

在testAPI.java中：
注释掉之前的hdfs.testRead();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		hdfs.testWrite();
	}

}

新建一个命令行窗口

su
输入密码
hdfs dfs -ls /

（Client端可以直接访问HDFS是因为此虚拟机直接克隆的1号机）
可看到此时没有words2.txt文件

回到eclipse，鼠标点到main方法中
Run As-1 Java Application
便在服务器端创建了words2.txt文件，完成了写操作
在这里插入图片描述
再回到命令行窗口：

hdfs dfs -ls /

可看到服务器端有了words2.txt文件
并查看文件内容：

hdfs dfs -cat /words2.txt

可看到hello
在这里插入图片描述

3.HDFS的文件重命名操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

}

在testAPI.java中：
注释掉之前的hdfs.testWrite();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		hdfs.testRename();
	}

}

鼠标点到main方法中
Run As-1 Java Application
便完成了文件的重命名
在这里插入图片描述

在命令行窗口：

su
输入密码
hdfs dfs -ls /

可看到words.txt被重命名为mywords.txt
在这里插入图片描述

4.HDFS的列出路径下对应的文件集操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

	public void testListFiles() throws Exception { 
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/"); 
		RemoteIterator<LocatedFileStatus> list = fs.listFiles(path, true);
		while(list.hasNext()) {
			System.out.println(list.next());
		}
	}

}

在testAPI.java中：
注释掉之前的hdfs.testRename();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		// hdfs.testRename();
		hdfs.testListFiles();
	}

}

鼠标点到main方法中
Run As-1 Java Application
便显示出包含文件的信息
在这里插入图片描述

5.HDFS的删除一个文件或目录操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

	public void testListFiles() throws Exception { 
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/"); 
		RemoteIterator<LocatedFileStatus> list = fs.listFiles(path, true);
		while(list.hasNext()) {
			System.out.println(list.next());
		}
	}

	public void testDelete() throws Exception { 	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/mywords.txt"); 
		boolean flag = fs.delete(path);
		System.out.println(flag);
 	}

}

在testAPI.java中：
注释掉之前的hdfs.testListFiles();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		// hdfs.testRename();
		// hdfs.testListFiles();
		hdfs.testDelete();
	}

}

鼠标点到main方法中
Run As-1 Java Application
mywords.txt文件被成功删除
在这里插入图片描述
在命令行窗口：

su
输入密码
hdfs dfs -ls /

可看到mywords.txt文件被删除
在这里插入图片描述

6.HDFS的创建目录操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

	public void testListFiles() throws Exception { 
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/"); 
		RemoteIterator<LocatedFileStatus> list = fs.listFiles(path, true);
		while(list.hasNext()) {
			System.out.println(list.next());
		}
	}

	public void testDelete() throws Exception { 	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/mywords.txt"); 
		boolean flag = fs.delete(path);
		System.out.println(flag);
	}
	
	public void testMakedir() throws Exception {

		fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), new Configuration(), "root");
		boolean flag = fs.mkdirs(new Path("/javaApi/mk/dir1/dir2"));
	        	System.out.println(flag ? "创建成功" : "创建失败");

	}


}

在testAPI.java中：
注释掉之前的hdfs.testDelete();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		// hdfs.testRename();
		// hdfs.testListFiles();
		// hdfs.testDelete();
		hdfs.testMakedir();
	}

}

鼠标点到main方法中
Run As-1 Java Application
在这里插入图片描述
在命令行窗口：

su
输入密码
hdfs dfs -ls /
hdfs dfs -ls /javaApi
hdfs dfs -ls /javaApi/mk

可看到新建了javaApi目录以及其子目录
在这里插入图片描述

7.HDFS的上传文件操作实验

到Client端：

打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

	public void testListFiles() throws Exception { 
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/"); 
		RemoteIterator<LocatedFileStatus> list = fs.listFiles(path, true);
		while(list.hasNext()) {
			System.out.println(list.next());
		}
	}

	public void testDelete() throws Exception { 	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/mywords.txt"); 
		boolean flag = fs.delete(path);
		System.out.println(flag);
	}
	
	public void testMakedir() throws Exception {

		fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), new Configuration(), "root");
		boolean flag = fs.mkdirs(new Path("/javaApi/mk/dir1/dir2"));
	        	System.out.println(flag ? "创建成功" : "创建失败");

	}

	public void testUpload() throws Exception {
		/*
		 * new URI("hdfs://192.168.100.10:8020"):连接HADOOP 的URL 
		 * new Configuration(): 使用HADOOP 默认配置 
		 * "root"：登录用户
		 */
			conf = new Configuration();
			conf.setBoolean("dfs.support.append", true);
			fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), conf, "root");
			String localsrc = "/HelloWorld.txt";  //如果该文件不存在，则先创建它即可
			String hdfsDst = "/javaApi/mk/";
			fs.copyFromLocalFile(new Path(localsrc), new Path(hdfsDst));
			System.out.println("upload sucess");
		}


}

在testAPI.java中：
注释掉之前的hdfs.testMakedir();
写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		// hdfs.testRename();
		// hdfs.testListFiles();
		// hdfs.testDelete();
		// hdfs.testMakedir();
		hdfs.testUpload();
	}

}

在本地新建一个文件：

touch /HelloWorld.txt

鼠标点到main方法中
Run As-1 Java Application
在这里插入图片描述

在命令行窗口：

su
输入密码
hdfs dfs -ls /javaApi/mk

上传成功
在这里插入图片描述

8.HDFS的查看文件的元数据信息操作实验

到Client端：
打开eclipse：

su
输入密码
cd /usr/eclipse/
./eclipse

选择此路径下的Workspace：/root/workspace
在之前的HDFS_API.java中，再创建一个方法：

package rpc;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class HDFS_API {
	Configuration conf;
	FileSystem fs;
	Path path;
	FSDataInputStream fis;
	FSDataOutputStream fos;
	FileStatus filestatus;
	
	public void testRead() throws Exception {
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		fis = fs.open(path); 
		byte b[] = new byte[200];
		int i = fis.read(b); 
		System.out.println(new String(b,0,i));
	}
	
	public void testWrite() throws Exception {	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");	
		fs = FileSystem.get(conf); 	
		fos = fs.create(new Path("/words2.txt"));
		fos.writeChars("hello");
		fos.flush();
		fos.close();
	}  
	
	public void testRename() throws Exception {	System.setProperty("HADOOP_USER_NAME", "root");
    //设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！	
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/words.txt"); 
		boolean flag = fs.rename(path, new Path("/mywords.txt"));
		System.out.println(flag);
	}

	public void testListFiles() throws Exception { 
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/"); 
		RemoteIterator<LocatedFileStatus> list = fs.listFiles(path, true);
		while(list.hasNext()) {
			System.out.println(list.next());
		}
	}

	public void testDelete() throws Exception { 	
		System.setProperty("HADOOP_USER_NAME", "root");
		//设置以root权限来运行该程序，否则小用户对HDFS的根目录是没有写权限的！
		conf = new Configuration(); 
		conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
		fs = FileSystem.get(conf); 
		path = new Path("/mywords.txt"); 
		boolean flag = fs.delete(path);
		System.out.println(flag);
	}
	
	public void testMakedir() throws Exception {

		fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), new Configuration(), "root");
		boolean flag = fs.mkdirs(new Path("/javaApi/mk/dir1/dir2"));
	        	System.out.println(flag ? "创建成功" : "创建失败");

	}

	public void testUpload() throws Exception {
		/*
		 * new URI("hdfs://192.168.100.10:8020"):连接HADOOP 的URL 
		 * new Configuration(): 使用HADOOP 默认配置 
		 * "root"：登录用户
		 */
			conf = new Configuration();
			conf.setBoolean("dfs.support.append", true);
			fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), conf, "root");
			String localsrc = "/HelloWorld.txt";  //如果该文件不存在，则先创建它即可
			String hdfsDst = "/javaApi/mk/";
			fs.copyFromLocalFile(new Path(localsrc), new Path(hdfsDst));
			System.out.println("upload sucess");
		}

	public void getFileStatus() throws Exception {
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.10:8020"), 
			new Configuration(), "root");
		FileStatus filestatus = fs.getFileStatus(new Path("/words2.txt"));
		System.out.println(filestatus);
	        	System.out.println("文件路径："+filestatus.getPath());
	        	System.out.println("块的大小："+filestatus.getBlockSize());
	        	System.out.println("文件所有者："+filestatus.getOwner()+":"+filestatus.getGroup());
	        	System.out.println("文件权限："+filestatus.getPermission());
	        	System.out.println("文件长度："+filestatus.getLen());
	        	System.out.println("备份数："+filestatus.getReplication());
	        	System.out.println("修改时间："+filestatus.getModificationTime());
	}

}

在testAPI.java中：
注释掉之前的，写入：

package rpc;

public class testAPI {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		
		HDFS_API hdfs = new HDFS_API();
		// hdfs.testRead();
		// hdfs.testWrite();
		// hdfs.testRename();
		// hdfs.testListFiles();
		// hdfs.testDelete();
		// hdfs.testMakedir();
		// hdfs.testUpload();
		hdfs.getFileStatus();
	}

}

鼠标点到main方法中
Run As-1 Java Application
便获取了words2.txt文件的元数据信息
在这里插入图片描述

9.纯命令行模式下使用API实现读操作

到Client端：

9.1准备测试文件

新建两个文件夹文件夹

su
输入密码
mkdir /opt/modules/app/hadoop-2.8.5/myclass
mkdir /opt/modules/app/hadoop-2.8.5/input

新建测试文件

vi /opt/modules/app/hadoop-2.8.5/input/quangle.txt

输入：

On the top of the Crumpetty Tree 
The Quangle Wangle sat, 
But his face you could not see, 
On account of his Beaver Hat.

将其上传到hdfs的根目录

hdfs dfs -copyFromLocal /opt/modules/app/hadoop-2.8.5/input/quangle.txt  /

9.2配置环境

vi /opt/modules/app/hadoop-2.8.5/etc/hadoop/hadoop-env.sh

然后在文件尾部追加如下内容：

HADOOP_HOME="/opt/modules/app/hadoop-2.8.5"
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/myclass

9.3编写程序

建立FileSystemCat.java 源代码文件：

vi /opt/modules/app/hadoop-2.8.5/myclass/HDFS_API.java

写入：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFS_API {
        public static void main(String[] args) throws Exception {
                Configuration conf = new Configuration();
                conf.set("fs.defaultFS", "hdfs://192.168.100.10:8020/");
                FileSystem fs = FileSystem.get(conf);
                Path path = new Path(args[0]);
                FSDataInputStream fis = fs.open(path);
                byte b[] = new byte[200];
                int i = fis.read(b);
                System.out.println(new String(b,0,i));
        }
}

9.4编译程序

通过添加CLASSPATH环境变量实现：
向CLASSPATH中添加hadoop-common-2.8.5.jar包

vi /etc/profile

后几行变为：

JAVA_HOME=/opt/modules/jdk1.8.0_161
HADOOP_HOME="/opt/modules/app/hadoop-2.8.5/"
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
CLASSPATH=$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.8.5.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME CLASSPATH PATH

使配置对所有用户生效：

source /etc/profile

编译源代码：

javac  /opt/modules/app/hadoop-2.8.5/myclass/HDFS_API.java

查看

ll /opt/modules/app/hadoop-2.8.5/myclass/

可看到生成了HDFS_API.class文件

9.5运行我们自己写的程序(命令)实现对HDFS上的文件的读操作

hadoop  HDFS_API  /quangle.txt

显示写入的内容
在这里插入图片描述

尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
upward
03-23 3582
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
Hadoop之HDFS使用
qq_39996037的博客
05-04 590
HDFS使用一.客户端二级目录三级目录 一.客户端 hdfs有3个客户端： 1.web客户端，仅仅提供文件浏览和删除，http://linux01:89870,browse file system。 2.命令行客户端，提供hdfs dfs <选项>来启动客户端并执行对应语句，hdfs目录地址在：http://linux01:8020/下，也就是hdfs-site.xml里面dfs.namenode.rpc-addres对应的value值。 本机文件上传到hdfs: hdfs dfs -put 本
大数据HDFS二次开发.pdf
10-14
大数据HDFS二次开发.pdf
HDFS源码二次开发
夜雨寒霜
02-01 831
Hadoop集群运行一年多了，在此过程中收集了很多的性能和稳定性问题，故成立Hadoop源码二次开发项目来进行整体的优化，从而提升Hadoop集群的性能和稳定性。
HDFS java API 二次开发
surijing的博客
04-11 324
文章目录HDFS读写流程API java实现 HDFS读写流程 1.客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。 2.DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在， 客户端有无权限去创建等。...
大数据资料Spark\HBase\HDFS 二次开发 PPT
01-02
大数据资料PPT Spark（二次开发篇） Hive(二次开发篇) HBase（二次开发篇 HDFS（二次开发篇）
HDFS二次开发常见问题
乔治大哥的博客
10-26 377
HDFS二次开发常见问题 问题描述 客户开发了一个HDFS应用，此应用存在多个线程，需同时往HDFS组件上写数据。在业务运行时，发现有业务线程和HDFS交互时，报如下异常： ...... Exception in thread "main" java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient....
第2关：HDFS文件读写
qq_61604164的博客
11-15 3429
第2关：HDFS文件读写 HDFS和MapReduce综合实训
Hadoop二次开发必懂
03-01
【Hadoop二次开发必懂】深入理解MapReduce 在Hadoop的世界中，MapReduce是一种分布式计算模型，用于处理和生成大规模数据集。它基于“分而治之”的理念，将大任务拆解为一系列可并行执行的小任务，极大地提高了处理...
Hadoop二次开发必懂（下）
03-01
Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已。Mapper最终处理的结果对，是需要送到Reducer去合并的，合并的时候，有相同key的键/值对会送到同一个Reducer那，哪个key到哪个Reducer的分配过程，是由Partiti
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
CC00064.hadoop——|Hadoop&MapReduce.V35|——|Hadoop.v35||Hadoop二次开发环境|搭建示例|
yanqi_vip
04-07 221
一、Hadoop二次开发环境搭建 ### --- 系统环境 ~~~ 系统：linux122： CentOS-7_x86_64 protobuf: protoc-2.5.0 maven： maven-3.6.0 hadoop: hadoop-2.9.2 java： jdk1.8.0_231 cmake: cmake-2.8.12.2 OpenSSL: OpenSSL 1.0.2...
记录一次Hadoop二次开发过程
xiyingxia3117的博客
04-01 1053
背景 在使用Hadoop集群过程中，出现如下错误，Namenode 宕机，日志如下 2016-08-09 16:33:51,526 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 6001 ms (timeout=20000 ms) for a response for sendEdits. Succ...
Hadoop二次开发环境搭建
凉茶铺的博客
10-11 800
介绍了hadoop如何进行二次开发
[hadoop] hadoop二次开发 阅读源码
啊嘞嘞的博客
08-06 635
学习目标 hadoopRPC实现原理 namenode工作原理 datanade工作原理 RPC： 1.客户端调用服务端的方法， 2.服务端初始化的时候会创建一个死循环的进程，供客户端调用 3.RPC ：Remote Procedure Call不同进程间方法的调用 4.Hadoop RPC: 不同进程的方法的调用 5.http也是一种RPC：可以实现不同进程的方法的调用 实例...
windows hadoop3.x idea二次开发环境搭建
weixin_42403127的博客
03-21 2676
效果图 源码下载地址 hadoop地址 碰到的第一个问题 解决方法 碰到的第二个问题 解决方案: 碰到的第三个问题 这个就需要安装（这个我会上传到百度云里稍后发布，这个也是某个大佬里视频发的） 链接：https://pan.baidu.com/s/1zWFcAOKV5wCv_n70iRjHyw 提取码：f4fo 具体配置是在编译windows版本中的这个问的那个 安装完后 然后进入到缺包的子模块下的proto目录下，执行转换proto文件为java文件的命令即可。 例如： 执行命令：
HDFSjava API实验
weixin_30408739的博客
04-25 189
package com.gw;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputS...
HDFS 的 API 案例实操
微信公众号: 后端码匠
04-26 237
package cn.com.codingce; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apac
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
prefect_start的博客
12-09 950
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值