spark streaming、flink和storm区别浅析

最新推荐文章于 2021-09-07 16:06:21 发布

转载最新推荐文章于 2021-09-07 16:06:21 发布 · 2.1k 阅读

4 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/xiaominmin/blog/3053807

文章标签：

#大数据 #python

博客对Spark、Flink和Storm三个计算框架进行比较。Spark Streaming是微批量的伪流式准实时计算框架，Flink和Storm是典型实时流处理框架。Spark与Flink主要区别在mini - batch和streaming选择，需根据场景权衡吞吐量和实时性。还罗列了相关参考资料。

2019独角兽企业重金招聘Python工程师标准>>>

1. 介绍

这三个计算框架常常被拿来比较。从我的角度来看，三者的比较可以分为两类(mini-batches vs. streaming)。spark streaming属于微批量的伪流式准实时计算框架(spark本身属于批处理框架)。而flink和storm则作为典型的实时流处理框架。

2. spark vs flink

两者虽然有很多设计实现思路上比较接近以及互相学习，但是主要区别还是mini-batch和streaming的选择上。根据实际场景在吞吐量和实时性上做权衡。

3. flink vs storm

名称	批处理	数据处理保证	api level	容错机制
storm	不支持	at least once(实现采用record-level acknowledgments)，Trident可以支持storm 提供exactly once语义	low	record-level acknowledgments
flink	支持	exactly once（实现采用Chandy-Lamport 算法，即marker-checkpoint ）	high	marker-checkpoint