Hadoop HDFS RPC通信和Proxy(代理)

最新推荐文章于 2022-10-07 10:27:15 发布

虚心若愚求知若渴

最新推荐文章于 2022-10-07 10:27:15 发布

阅读量1k

点赞数

分类专栏：大数据文章标签： hadoop hdfs rpc proxy

本文链接：https://blog.youkuaiyun.com/weixin_39806100/article/details/105018272

版权

本文介绍了Hadoop HDFS中RPC的工作原理，它实现了客户端与NameNode集群间的远程调用。同时，详细讨论了Proxy作为设计模式在HDFS中的应用，包括静态和动态代理的区别，并给出了HDFS使用动态代理的示例，涉及依赖、接口定义、RPC服务的实现以及客户端的调用过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RPC和Proxy

RPC(Remote Procedure Call)：远程调用过程，调用代码不在本地执行，实现调用者与被调用者之间的连接和通信。
基于Client Server,相当于DFSClient 相当于客户端。NameNode集群相当与Server。

Proxy：代理，是一种设计模式，提供了对目标对象的另一种访问方式。通过代理对象访问目标对象。
代理分为静态代理和动态代理。
静态代理：接口的定义，实现接口。被代理对象与对象实现相同的接口。
动态代理：接口的定义不需要实现接口（匿名内部类 + 反射invoke）。

HDFS使用的是动态代理

程序示例

依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
     <artifactId>hadoop-common</artifactId>
     <version>2.7.3</version>
 </dependency>
 <dependency>
     <groupId>org.apache.hadoop</groupId>
     <artifactId>hadoop-hdfs</artifactId>
     <version>2.7.3</version>
 </dependency>
 <dependency>
     <groupId