一些分布式计算框架

最新推荐文章于 2025-07-01 11:00:00 发布

_delin

最新推荐文章于 2025-07-01 11:00:00 发布

阅读量3.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：分布式计算 mapreduce

本文链接：https://blog.youkuaiyun.com/jacklin929/article/details/51669830

hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了多种大数据计算框架，包括MapReduce、Spark、Storm、S4等，对比了它们的特点和适用场景，并提及了用于SQL查询、图算法处理的Impala、Drill、HAMA、Giraph等工具。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1） MapReduce: 这个框架人人皆知，它是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。
2） Spark: 我们知道，MapReduce计算框架不适合（不是不能做，是不适合，效率太低）迭代计算（常见于machine learning领域，比如PageRank）和交互式计算（data mining领域，比如SQL查询），MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。官方首页：http://spark-project.org/
3） Storm: MapReduce也不适合进行流式计算、实时分析，比如广告点击计算等，而Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。官方首页：http://storm-project.net/
4） S4: Yahoo开发的流式计算框架，与Storm较为类似。官方首页：http://incubator.apache.org/s4/
5） Open MPI: 非常经典的消息处理框架，非常适合高性能计算，现在仍被广泛使用。
6） HAMA: 基于BSP（bulk-synchronous parallel model）模型的分布式计算框架，与Google的Pregel类似，可用于大规模科学计算，如矩阵，图算法，网络算法等，官方首页：http://hama.apache.org/。
7） Cloudera Impala/ Apache Drill: 基于Hadoop的更快的SQL查询引擎（比Hive快得多），Google Dremel的模仿者。Cloudera Impala官方首页：https://github.com/cloudera/impala，Apache Drill官方首页：http://incubator.apache.org/drill/
8） Giraph：图算法处理框架，采用BSP模型，可用于计算pagerank，shared connections, personalization-based popularity等迭代类算法。官方首页：http://giraph.apache.org/