【大数据技术图谱】分布式计算：Hadoop、Spark和Storm

最新推荐文章于 2023-12-27 01:47:52 发布

peachpi

最新推荐文章于 2023-12-27 01:47:52 发布

阅读量1.4k

点赞数

分类专栏： Architecture 大数据文章标签： hadoop spark 大数据分布式计算

本文链接：https://blog.youkuaiyun.com/peachpi/article/details/114526608

版权

本文介绍了大数据处理中的三个重要分布式计算系统——Hadoop、Spark和Storm。Hadoop是基于MapReduce和HDFS的开源项目，适合离线大数据处理；Spark通过内存计算提升了运算速度，适用于快速处理；而Storm则提供了实时计算功能，用于实时大数据处理。随着技术发展，Spark在某些方面已超越Hadoop，而Hadoop的地位受到挑战。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、大数据与分布式计算（Distributed Computing）

有了大数据，就需要对其进行处理和分析，分析主要分为五个方面：可视化分析（Analytic Visualization）、数据挖掘算法（Date Mining Algorithms）、预测性分析能力（Predictive Analytic Capabilities）、语义引擎（Semantic Engines）和数据质量管理（Data Quality Management）。

对于如何处理大数据，计算机科学界有两大方向：第一个方向是集中式计算，第二个方向是分布式计算。

大数据的技术基础：MapReduce、Google File System和BigTable

分布式计算最初的技术起源都来自于Google的三篇论文：MapReduce、GFS（Google File System）和BigTable，随后逐步发展成为Hadoop，Spark和Storm三大主流的分布式计算系统。

Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来，Hadoop被贡献给了Apache基金会，成为了Apache基金会的开源项目。Doug Cutting也成为Apache基金会的主席，主持Hadoop的开发工作。

Hadoop采