hadoop中RPC通信文件上传原理

最新推荐文章于 2022-03-16 18:35:03 发布

转载最新推荐文章于 2022-03-16 18:35:03 发布 · 122 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/yangzhiyuan/blog/222243

文章标签：

#大数据 #python #java

本文深入解析了在Java应用中如何利用Hadoop的HDFS API进行文件操作，包括创建目录、上传文件、下载数据和删除文件夹等基本功能。同时介绍了RPC（远程过程调用）的概念及其在Hadoop框架中的应用，解释了通过网络访问文件系统的行为，以及数据是如何在客户端与DataNode之间直接连接传输的，而不是通过NameNode转接。文章强调了HDFS API的便捷性，使得用户无需关注底层数据分布细节，即可实现高效的数据管理和访问。

2019独角兽企业重金招聘Python工程师标准>>>

//APP2中调用的代码
public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";
	public static final String DIR_PATH = "/d1000";
	public static final String FILE_PATH = "/d1000/f10000";

	public static void main(String[] args) throws Exception {
		FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),
				new Configuration());
		// //创建文件
		// fileSystem.mkdirs(new Path(DIR_PATH));
		// //上传文件
		// FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
		// FileInputStream in = new FileInputStream("c:/hello.txt");
		// IOUtils.copyBytes(in, out, 1024,true);
		// //下载数据
		// FSDataInputStream in1 = fileSystem.open(new Path(FILE_PATH));
		// IOUtils.copyBytes(in1, System.out, 1024,true);

		// 删除文件夹
		deleteFile(fileSystem);
	}

	private static void deleteFile(FileSystem fileSystem) throws IOException {
		fileSystem.delete(new Path(FILE_PATH), true);
		
	}

注：RPC(remote procedure call)

不同java进程间的对象方法的调用。一方称作服务端(server)，一方称作客户端(client)。

server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。

RPC是hadoop框架运行的基础。