weixin_45116578的博客

MapReduce编码规范及实例一个MapReduce程序在分布式运行时有三类实例进程：MrAppMaster：负责整个程序的过程调度及状态协调。MapTask：负责Map阶段的整个数据处理流程。ReduceTask：负责Reduce阶段的整个数据处理流程。MapReduce编程规范：Mapper、Reducer和DriverMapper阶段：用户自定义的Mapper要继承自己的父类Mapper的输入数据是KV对的形式（KV的类型可自定义）Mapper中的业务逻辑写在map()方法中

Hadoop

HDFS文件块HDFS的组成NameNode：管理HDFS的名称空间，配置副本策略，管理数据块的映射信息，处理客户端的读写请求。DataNode：存储实际的数据块，执行数据块的读写操作。Client：客户端。文件上传时Client将文件切分成数据块然后上传，与NameNode交互获取文件位置信息，与DataNode交互读写数据，Client提供一些命令来管理HDFS例如NameNode格式化，通过一些命令来访问HDFS。Secondary NameNode：辅助NameNode定期合并Fsim