lxf5202013121的博客

HDFS通信协议 HDFS通信协议抽象了HDFS各个节点之间的调用接口。    1. Hadoop RPC接口：hadoop RPC调用是的HDFS进程能够像本地调用一样调用另一个进程中的方法(远程过程调用协议)。       1.1 ClientProtocol:定义了客户端端Namenode节点之间的接口，客户端对文件系统的所有操作都要通过这个接口。             1

Map和Reduce执行过程         MapReduce是分布式运行，由两个阶段构成：map和reduce，MapReduce框架都是默认实现，用户只需map()和    reduce()两个函数，即可实现分布式计算。这两个函数形参和返回值是(key,value) 1.Map执行过程:        案例： str = "abceabd"    计算这个字符串中每一个字