Tez、Spark、MR,Flink四大计算框架对比

四大分布式计算框架对比：Tez、Spark、MR、Flink

1. MapReduce (MR)

核心特点：

• 最早的Hadoop原生批处理框架
• 基于磁盘的两次洗牌（map和reduce阶段）
• 简单的编程模型

优点：

• 成熟稳定，适合超大规模数据处理
• 良好的容错机制
• 与HDFS深度集成

缺点：

• 性能较低（频繁的磁盘I/O）
• 编程模型不够灵活
• 不适合迭代计算和实时处理

2. Apache Spark

核心特点：

• 基于内存计算的DAG执行引擎
• 弹性分布式数据集(RDD)抽象
• 支持批处理、流处理、机器学习和图计算

优点：

• 比MR快10-100倍（内存计算）
• 丰富的API（Scala、Java、Python、R）
• 统一的栈解决多种计算需求
• 优秀的生态系统

缺点：

• 内存消耗大
• 流处理是微批模式，不是真正的实时

3. Apache Tez

核心特点：

• 优化Hive和Pig等工具的执行引擎
• 极简的DAG执行框架
• 专注于减少任务启动开销

优点：

• 比传统MR性能提升显著
• 低延迟查询处理
• 与YARN深度集成
• 资源利用率高

缺点：

• 主要作为底层引擎使用，不直接面向开发者
• 生态系统相对较小

4. Apache Flink

核心特点：

• 真正的流处理优先架构
• 事件时间处理和状态管理
• 低延迟高吞吐

优点：

• 流批统一处理模型
• 精确一次(exactly-once)的状态一致性
• 优秀的窗口操作和事件时间支持
• 比Spark流处理延迟更低

缺点：

• 相对较新的生态系统
• 学习曲线较陡峭

对比总结

特性	MapReduce	Spark	Tez	Flink
处理模型	批处理	批/微批	批处理	流/批
执行引擎	两阶段洗牌	DAG	DAG	流式DAG
延迟	高	中	中低	极低
内存使用	低	高	中	中高
API丰富度	低	非常高	低	高
成熟度	非常高	高	中	中高
主要用例	离线分析	通用计算	查询优化	实时分析

选择建议

• 传统批处理：MapReduce(逐步淘汰)或Spark
• 交互式查询：Tez(如Hive on Tez)或Spark SQL
• 复杂分析管道：Spark(丰富的库和API)
• 实时流处理：Flink(真正的流处理)或Spark Streaming(微批)
• 混合工作负载：Spark或Flink(流批统一)

随着技术的发展，Flink在实时处理领域展现出明显优势，而Spark仍然是通用大数据处理的首选之一。Tez主要作为优化工具在特定场景下使用，MapReduce则逐渐被新一代框架取代。