Storm、Spark Streaming的区别

博客介绍了Storm和Spark Streaming的区别。Storm是纯实时流式处理框架,吞吐量低但事务处理好,适合简单汇总计算,支持动态资源调整;Spark Streaming是微批处理框架,吞吐量高,可做复杂计算,是粗粒度资源调度。还给出业务选择建议,如金融选Storm,实时预测选Spark Streaming。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Storm、Spark Streaming的区别主要在一下几点

1、Storm是一个纯实时的流式处理框架,即来一条数据处理一条数据,这样势必集群内有频繁的网络通讯,吞吐量低

2、Spark Streaming是微批处理框架,吞吐量高

3、Storm的事务处理机制要比Spark Streaming的好,Spark Streaming中存在丢失数据或者重复计算的问题,Storm中接受或拉取的每条数据可以准确的只处理一次

4、Storm适合做简单的汇总型计算,Spark Streaming可以做复杂的计算,因为Spark Streaming是基于DStream来开发的,DStream可以抽出RDD(即Spark的核心),支持更多的复杂计算

5、Storm支持动态资源的调整,而Spark Streaming是粗粒度的资源调度

 

关于具体业务上Storm、Spark Streaming的选择问题:

通过上面的区别,可以得出,如金融类的肯定选择Storm,对精度要求高,如实时预测类的肯定是Spark Streaming,还可以根据公司的实际资源选择,如果现有Spark集群,肯定是Spark Streaming更合适。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值