本文对Hadoop MapReduce（MR）的计算流程进行了简单描述，通过两张图解展示了任务从JobTracker到TaskTracker的分配过程，以及TaskTracker如何处理任务。JobTracker中，JobInProgress包含了JobSetup、JobCleanup、map和reduce任务，并分配到taskTracker执行。TaskTracker部分，TaskLauncher处理Map和Reduce任务，Child进程通过TaskUmbilicalProtocol接口获取任务信息并反馈状态。文章还探讨了Hadoop设计的思考，如异常处理、进程隔离、拥塞控制和简单性原则等。
一、概述
文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.youkuaiyun.com/bxyz1203/article/details/8074248。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。
二、计算流程
MR计算框架发展到1.0.3左右，计算框架没有发展大的变化。在《hadoop The Definitive Guide》中有张经典的图可以说明问题，如图1所示。
图1
图1大致说明了我们计算的任务流程，不过并没有深入内部讲述代码的一些细节。所有细节也非常繁细，我整理出一幅大致的数据流程图交互图来说明问题（此图主要我理清楚思路，可能有所欠缺及不完善，主要强调任务数据流转）。如图2:所示：
426
315
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
