hadoop
文章平均质量分 77
SummerMangoZz
菲fans
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop MapReduce模型的shuffle过程
shuffle是MapReduce编程模型的核心。它主要指从maptask输出key/value到reducetask接受输入这段过程。这段过程也被称为“神奇发生的地方”,是mapreduce能顺利进行的保障。它的官方描述图如下: 先来分析map端的操作: 在这图种,map端的input来自本机存储的block种的数据。每执行一次map函数式,会传入偏移量和一行block中的数据,经过原创 2017-04-28 11:24:57 · 1009 阅读 · 0 评论 -
ApplicationMaster,ResourceManager和NodeManager通信过程
ApplicationMaster与ResourceManager和NodeManager的交互: rpc交互: 1.与ResourceManager交互,ApplicationMaster可获得计算所需的资源 2.与NodeManager交互,ApplicationMaster可启动计算任务并监控它的生命周期 1.ApplicationMast原创 2017-05-22 09:39:49 · 7281 阅读 · 1 评论
分享