Spark Streaming & Structured Streaming分析

最新推荐文章于 2024-01-05 09:34:39 发布

chixushuchu

最新推荐文章于 2024-01-05 09:34:39 发布

阅读量521

点赞数

CC 4.0 BY-SA版权

分类专栏：实战 spark 文章标签： StructuredStreaming 与 Spark Streami

本文链接：https://blog.youkuaiyun.com/chixushuchu/article/details/85273842

实战同时被 2 个专栏收录

61 篇文章

订阅专栏

spark

44 篇文章

订阅专栏

介绍了SparkStreaming作为老牌流式计算引擎的特点，包括基于RDD的计算API、window操作及容错支持。并对比了Spark2.x推出的StructuredStreaming，强调其通过real-timeincrementaltable概念统一流式与离线计算，简化开发流程，提供如双流join、自动化容错、一次且仅一次语义等高级特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark Streaming是老牌的Spark流式计算引擎，底层基于RDD计算引擎。除了类似RDD风格的计算API以外，也提供了更多的流式计算语义，比如window、updateStateByKey、transform等。同时对于流式计算中重要的数据一致性、容错性等也有一定的支持。

Spark 2.x中也推出了全新的基于Dataframe/Dataset的Structured Streaming流式计算引擎。相较于Spark Streaming来说，其最大的不同之处在于，采用了全新的逻辑模型，提出了real-time incremental table的概念，更加统一了流式计算和离线计算的概念，减轻了用户开发的负担。同时还提供了高度封装的特性，比如双流的全量join、与离线数据进行join的语义支持、内置的自动化容错机制、内置的自动化的一次且仅一次的强一致性语义、time-based processing、延迟数据达到的自动处理、与第三方外部存储进行整合的sink概念，等等高级特性。大幅度降低了流式计算应用的开发成本。