分布式计算中的DAG(有向无环图)详解

分布式计算中的DAG(有向无环图)详解

DAG(Directed Acyclic Graph，有向无环图)是现代分布式计算框架的核心执行模型，它彻底改变了传统MapReduce的线性执行方式。

一、DAG基本概念

1. 定义：

   • 有向：边有方向性，表示任务间的依赖关系
   • 无环：不能形成循环，确保任务可终止

2. 组成元素：

   • 顶点(Vertex)：表示计算任务或操作
   • 边(Edge)：表示任务间的数据流向和依赖关系

二、DAG在计算框架中的应用

1. 与传统MapReduce对比

</

特性	MapReduce模型	DAG模型
任务结构	严格的Map-Shuffle-Reduce两阶段	灵活的多阶段任务链
数据交换	必须通过磁盘shuffle	可内存传递或优化shuffle
执行计划	固定不变	动态优化