继续大数据研究---Storm Spark Hadoop比较

最新推荐文章于 2024-06-30 08:00:00 发布

原创最新推荐文章于 2024-06-30 08:00:00 发布 · 991 阅读

CC 4.0 BY-SA版权

本文介绍了三种主流的大数据处理框架：Storm、Spark 和 Hadoop 的特点与应用场景。Storm 专长于实时数据流处理；Spark 则以其内存计算能力见长，并支持多种计算模式；而 Hadoop 是目前广泛使用的大数据管理系统。

摘录自知乎：

Storm用于处理高速、大型数据流的分布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能
Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复查询，此外还融合数据仓库，流处理和图形计算等多种计算范式。Spark构建在HDFS上，能与Hadoop很好的结合。它的RDD是一个很大的特点。
Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。