比较Spark与Flink

Apache Spark 和 Apache Flink 都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。下面是二者的对比：

1. 处理模式

• Spark:

  • 主要支持批处理（Batch Processing），也能通过 Spark Streaming 处理流式数据，但 Spark Streaming 本质上是通过微批（micro-batching）的方式处理流数据，延迟相对较高。
  • Spark Structured Streaming 提供了近似实时的流处理，但其背后依然是基于微批模式。

• Flink:

  • 专为流处理（Stream Processing）设计，具有真正的实时处理能力。批处理则被认为是流处理的一个特例，Flink 将批处理视为流处理的一部分，因此在流式计算中的性能更强，延迟更低。
  • 支持低延迟的事件驱动的处理方式，更适合处理连续不断的数据流。

2. 容错机制

• Spark:

  • 通过 DAG（有向无环图）和 RDD 的惰性计算来进行容错，Spark 使用 lineage 来记录每个计算步骤，当发生失败时，可以根据 lineage 重新计算数据。
  • 在 Spark Streaming 中，微批次中的失败任务会通过重跑整个批