MapReduce计算框架原理详解

我们来详细解析一下 MapReduce 的工作和计算框架原理。

MapReduce 是一个由 Google 提出的编程模型，用于大规模数据集（大于 1TB）的并行运算。它将这些复杂的、运行于大规模集群上的并行计算过程高度抽象为两个核心函数：Map 和 Reduce。其核心思想是 “分而治之”。

一、核心思想：分而治之

将一个巨大的任务拆分成无数个小任务，分发到大量机器上并行处理，然后将结果合并。这解决了两个关键问题：

1. 如何并行化计算任务：自动将计算任务拆分和分发。
2. 如何分发和处理数据：将数据移动到离计算节点最近的地方进行计算（数据本地化），减少网络传输。
3. 如何容错：自动处理节点故障、任务失败等问题。

---

二、核心概念与角色

在一个 MapReduce 集群中，主要有两种角色：

1. JobTracker (Master Node - 主节点)：

   • 大脑：只有一个，负责整个作业的调度和监控。
   • 职责：接收客户端提交的 Job，将 Job 拆分成多个 Task（Map Task 和 Reduce Task），并将这些 Task 分配给空闲的 TaskTracker。同时监控 TaskTracker 的健康状况，如果某个 Task 失败，会将其重新分配给其他节点执行。

2. TaskTracker (Slave Node - 从节点)：

   • 手脚：有多个，负责执行具体的任务