sparksql和sparkcore/spark streaming/Structured streaming 的选用总结 一句话概括： 离线可以用：sparkcore、sparksql 实时可以用：sparksql、spark streaming 实时涉及到窗口统计：spark streaming Structured streaming 其实，感觉Structured streaming就是在sparksql里面多加了窗口函数，比如sparksql通过kafka获取数据，sparksql和Structured 代码最大的差别就是多了withWatermark 和window函数。
本文总结了Spark生态中不同组件的应用场景：离线处理推荐使用SparkCore和SparkSQL；实时处理可选择SparkSQL和SparkStreaming；涉及窗口统计的实时场景则适用StructuredStreaming。StructuredStreaming在SparkSQL基础上增加了窗口函数支持，如withWatermark和window，适用于从Kafka等源实时获取并处理数据。
扫一扫
1279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
