
Hadoop
蜜叶
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce Shuffle 过程解析
mapreduceShuffle过程解析Shuffle过程是Mapreduce的核心,要想理解Mapreduce,Shuffle过程是必须了解的。Shuffle的本义是洗牌,混乱,把一组有规则的数据转换成一组无规则的数据,Mapreduce中的shuffle更像是洗牌的逆过程,把map端处理完的数据规约到reduce端,更像是一个整合的过程,把相对无规则的数据转换成有规则的数据。为什么M...原创 2019-02-28 10:46:50 · 692 阅读 · 1 评论 -
Hadoop MapReduce reducerTask和partition的对应关系
谈一谈关于reducerTask和partition的对应关系在hadoopMR中,许多人的理解就是partition和reduceTask的关系就是一对一,这样理解没错,通常情况下reduceTask的数量和partition就是一对一的关系,但是他们不是绝对一对一的关系,reduceTask的数量由job提交时设置的numreducretask决定。partition只是决定这条数据应...原创 2019-02-28 11:42:45 · 1164 阅读 · 0 评论