Spark和Hadoop的关系

直到现在BAT等一些互联网公司对大数据炒得很火，但很多人并不知道Spark和Hadoop的关系。很大一部分人说Spark会取代Hadoop，当然也有一部分人对其持反对意见。那到底会不会呢？下面我们先分别对Spark和Hadoop进行结构化的分析，然后通过对比分析得出分析。

Hadoop主要提供的是：

HDFS：分布式存储系统。（Hadoop提供的最重要的东西----灵魂）

MR：大数据分布式计算框架。

Hive：大数据查询框架，其中也包含了数据仓库。

HBase：Hadoop的数据库，主要提供实时的查询。底层高可靠性存储支持依然为HDFS；MR为其提供高性能计算；Sqoop为其提供传统数据的数据导入导出                                                   的功能；Pig和Hive还为HBase提供了高层语言支持等

Yran：提供集群资源的管理和调度。

Spark主要提供的是：

SparkSQL：应用Hive的数据仓库和HDFS。

  Core：大数据计算框架，效率高于MR。

  GraphX：图计算

  R：数据分析

 ML：机器学习

 Streaming：流处理

总结：在Hadoop中除了Yarn、Hbase、HDFS其他都可由Spark替代，但是Spark必须使用HDFS。所以两者不存在谁替换谁，而是相互的依赖，使计算的性能最大化。

注意：本人如有错误，请指教谢谢。