Tez、Spark、MR三大计算框架对比

Tez、Spark 和 MapReduce (MR) 的区别

1. MapReduce (MR)

• 基础架构：Hadoop 的原生批处理框架
• 执行模型：严格的两阶段模型（Map 和 Reduce）
• 特点：
  • 高容错性但性能较低
  • 每个阶段都需要将中间结果写入磁盘
  • 编程模型相对简单但不够灵活
  • 适合简单的批处理任务

2. Apache Tez

• 定位：MapReduce 的优化替代品
• 执行模型：有向无环图(DAG)模型
• 特点：
  • 消除了不必要的中间写入
  • 允许更复杂的任务拓扑结构
  • 常用于Hive、Pig等上层工具
  • 比MR更高效但仍属于Hadoop生态系统

3. Apache Spark

• 定位：通用的分布式计算框架
• 执行模型：基于内存的DAG执行引擎
• 特点：
  • 内存计算显著提高性能
  • 支持批处理、流处理、机器学习和图计算
  • 丰富的API（Scala、Java、Python、R）
  • 独立于Hadoop生态系统但可以集成

主要区别对比

特性	MapReduce	Tez	Spark
执行模型	两阶段固定模型	DAG模型	DAG模型(内存)
性能	慢	中等	快
内存使用	低	中等	高
编程复杂度	高	中等(通常通过上层工具)	低(丰富API)
适用场景	简单批处理	Hadoop生态批处理	多样化工作负载
容错机制	磁盘检查点	磁盘检查点	RDD lineage

Spark通常在现代大数据架构中更受欢迎，因为它提供了更好的性能和更广泛的功能集，而Tez主要用于优化Hadoop生态系统中的现有工作负载。