Hadoop中的RPC机制-优快云博客

本文链接：https://blog.youkuaiyun.com/iteye_16299/article/details/81685147

本文详细解析了Hadoop中JobClient如何通过JobTracker提交作业的过程。从JobClient调用submitJob方法开始，介绍了Java动态代理及RPC机制在作业提交过程中的应用。深入探讨了JobTracker如何接收请求并处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以JobClient向JobTracker提交作业为例：
JobClient远程调用JobTracker的submitJob方法;

 //JobClient.java
 public RunningJob submitJob(JobConf job) throws FileNotFoundException,  InvalidJobConfException, IOException {
    //...
    // Now, actually submit the job (using the submit name)
    //
    JobStatus status = jobSubmitClient.submitJob(jobId);
    //...
    }

其实jobSubmitClient是通过java.lang.reflect.Proxy动态代理产生的JobSubmissionProtocol接口的实例实现的

关于Proxy参见利用JAVA的动态属性之反射原理实现一个简单AOP容器 - AOP的实现原理分析

Java动态代理功能
首先，我们简单介绍一下Java动态代理功能。JAVA的动态代理功能主要通过java.lang.reflect.Proxy类与java.lang.reflect.InvocationHandler接口完成，这里正是通过它们实现一个简单的AOP容器的。其实，像JBoss AOP等其他动态AOP框架也都是通过Proxy和InvocationHandler来实现的。

这个实例的submitJob方法会调用RPC.Invoker的invoke方法，然后RPC的client会调用call方法要远程调用的方法名和参数发送到RPC服务器。

在RPC服务器端，绑定了JobTracker

//JobTracker.java
JobTracker(JobConf conf) throws IOException, InterruptedException {
//...........
    this.interTrackerServer = RPC.getServer(this, addr.getHostName(), addr.getPort(), handlerCount, false, conf);
    this.interTrackerServer.start();
//..............  
    }

Server内置的Listener(线程)处理Connection队列，调用Connetion处理数据生成Call并加入callQueue队列，Handler(线程)处理Call队列，并调用RPC.Server的call方法返回结果