
大数据
文章平均质量分 97
大数据
life1024
hello
展开
-
MapReduce的shuffle过程详解(分片、分区、合并、归并)
shuffle过程shuffle概念shuffle的本意是洗牌、混洗的意思,把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中,shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据,以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前,具体可以分为map端和reduce端前后两个部分。在shuffle之前,也就是在map阶段,MapReduce会对要处理的数据进行分片(split)...转载 2020-10-25 13:51:59 · 10214 阅读 · 0 评论 -
hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
1:NameNode2:SecondNameNode3:DataNode4:ResourceManager5:NodeManager----------------------------------------------------------------------------------------------------------------------------...原创 2019-01-29 23:02:02 · 1543 阅读 · 0 评论