Flink vs Spark (1)

本文探讨了Spark和Flink在大数据处理领域的应用与差异。Spark兼容批处理和流处理,拥有丰富的生态系统,而Flink专注于流处理,功能逐渐增强。讨论了两者的核心组件,如Spark的RDD和Flink的计算窗口,并提到了阿里巴巴对Flink的投资,以及它们如何相互影响和借鉴。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark是兼容batch处理,和流处理(通过continuous processing in structured streaming来实现流处理,DStream in 2.4)的大数据分析框架。
Spark的核心是RDD,在batch处理上面有巨大的生态。在流处理方面正在追赶Flink。Spark Tungsten项目
Spark争取兼容batch and streaming

Flink是专做流处理的,慢慢的功能也在变的日益强大。
Batch processing是stream的special case
Flink的核心是“计算窗口”, 快速流式计算
阿里在推flink – blink,然后9000万Euro收购了Data Artisans(Flink的母公司)。下面全看Alibaba的啦。

我的观点:两个生态在互相影响,互相借鉴。只要Spark目前的架构能够很快的支持Flink之类软件的新功能,那么Spark应该是立于不败之地,因为Spark的生态要比Flink大。

两个知乎的link

  1. Spark会不会过时了2018年底,比较新
  2. Spark和Flink异同2017之前

(有待进一步了解和总结)

FlinkSpark
DatasetDataframe
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值