本文介绍了MapReduce的基本原理，包括其分布式编程架构、任务分割与汇总机制。详细讲解了JobTracker与TaskTracker的角色职责，以及如何通过Map和Reduce阶段处理大规模数据集。此外，还涉及了MapReduce的容错机制，确保数据处理的稳定性和可靠性。
一、MapReduce原理
分而治之原则，将一个大任务分为多个小的子任务（map），再将它们并行执行，合并结果（reduce）。
二、MapReduce体系结构
1.分布式编程架构。
2.以数据为中心，更加看重吞吐率。
3.任务分割与汇总。
三、MapReduce的组成
Job&Task
1.Job Tracker（作业）
负责作业调度；分配任务；监控任务执行进度以及监控Task Traceke状况。
2.Task Tracker(任务)
Map Task Tracker
Reduce Task Tracker
四、容错机制
1.重复执行（默认重复4次）
2.推测执行
扫一扫
1131
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
