jsy625的专栏

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

1. hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。2. master启动的时候，会开一个ipc server在那里，等待slave心跳。3. slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”heartbeat.

Hadoop RPC主要由三大部分组成：Client、Server和RPC，如下表所示。内部类功能Client连接服务器、传递函数名和相应的参数、等待结果Server主要接受Client的请求、执行相应的函数、返回结果RPC外部编程接口，主要是为通信的服务方提供代理

Hadoop RPC主要由三大部分组成：Client、Server和RPC，如下表所示。内部类功能Client连接服务器、传递函数名和相应的参数、等待结果Server主要接受Client的请求、执行相应的函数、返回结果RPC外部编程接口，主要是为通信的服务方提供代理

Hadoop RPC主要由三大部分组成：Client、Server和RPC，如下表所示。内部类功能Client连接服务器、传递函数名和相应的参数、等待结果Server主要接受Client的请求、执行相应的函数、返回结果RPC外部编程接口，主要是为通信的服务方提供代理

RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC采用客户机/服务器模式，其框架图如图2-1所示。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达

Hadoop RPC主要由三大部分组成：Client、Server和RPC，如下表所示。内部类功能Client连接服务器、传递函数名和相应的参数、等待结果Server主要接受Client的请求、执行相应的函数、返回结果RPC外部编程接口，主要是为通信的服务方提供代理