darkness0604的博客

MapReduce学习03-client端开发POM准备配置文件准备代码实现任务的提交方式本节的目标是通过java的client端完成需求：对一段目标文本里统计每个单词出现的次数。POM准备<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...

MapReduce学习02-环境搭建在hadoop2.x中，mapreduce使用的yarn模型，也就是mapreduce on yarn来实现了计算系统的解耦。本次搭建的节点如下所示，除了HDFS的节点外，我们分别在2,3,4搭建NodeManager，在3,4搭建ResourceManager 架构： RM NM 搭建： NN NN JN ZKFC ZK DN R...

MapperReduce入门笔记小记小记MapReduce可以拆分为：Map和Reduce，其中Map以一行为单位，Reduce以一组为单位。当一个文件通过HDFS进行拆分后，会被分为多个block块。块是一种物理切割单位，而split是一种逻辑切割单位。其中split的数量可以一个split对应1个块，，可以一个split对应多个块，也可以多个split对应多个块。每一个spil...