qq_38019655的博客

MR计算框架特点1.数据划分和计算任务调度:　　系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并 负责Map节点执行的同步控制。2.数据/代码互定位（数据本地化策略）　　为了减少数据通...

MapReduce实现WordCount一、Mapper代码public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable> { /** * 一个Block对应一个Mapper * 一个行出发一次Mapper中的map * Key:map的输入，是当前处理的行在文件中的偏移量...