storm mapreudce spark streaming 区别

最新推荐文章于 2025-08-05 09:46:16 发布

weixin_30709929

最新推荐文章于 2025-08-05 09:46:16 发布

阅读量116

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/xiangyuguan/p/11077319.html

博客主要对比了Storm与MapReduce、Spark Streaming。Storm进程和线程常驻内存，数据网络传递；MapReduce是为TB、PB级别数据设计的批处理框架。Storm是纯流式处理，也能做微批处理；Spark Streaming是微批处理，基于内存和DAG处理任务快。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Storm 与 MapReduce
- Storm：进程、线程常驻内存运行，数据不进入磁盘，数据通过网络传递。
- MapReduce：为TB、PB级别数据设计的批处理计算框架。
Storm 与 Spark Streaming
- Storm：纯流式处理专门为流式处理设计数据传输模式更为简单，很多地方也更为高效并不是不能做批处理，它也可以来做微批处理，来提高吞吐量
- Spark Streaming：微批处理，将RDD做的很小来用小的批处理，来接近流式处理，基于内存和DAG可以把处理任务做的很快