Spark Streaming 05 Spark Streaming 入门

1 介绍

Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams.

spark-streaming将来自不同的数据源的数据进行处理，之后将结果输出到外部文件系统。

2 特点

• 低延时
• 能从错误中高效的恢复
• 能够运行在成千上百的节点
• 能够将批处理、机器学习、图计算等自框架和spark-streaming综合起来使用

3 工作原理

1） 粗粒度

spark-streaming接收到实时数据流，把数据按照指定的时间段切成一片片小的数据块，然后把小的数据块传给spark-engine处理。

2）细粒度