Spark应用场景以及与hadoop的比较

最新推荐文章于 2025-02-21 09:56:11 发布

原创

最新推荐文章于 2025-02-21 09:56:11 发布 · 989 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #算法 #数据挖掘 #数据仓库 #大数据

本文介绍了大数据的四大特征，并详细比较了Spark与Hadoop的区别，强调Spark在内存中的迭代计算效率及编程模型的灵活性。Spark支持多种数据集操作，可直接读写HDFS，适用于数据挖掘和机器学习等场景。同时，文章阐述了Spark的运行模式、RDD（弹性分布式数据集）的概念及其特点，包括其不可变性、自动故障恢复和可定制的存储级别。

Spark应用场景以及与hadoop的比较

　　一、大数据的四大特征：

　　a.海量的数据规模（volume）

　　b.快速的数据流转和动态的数据体系（velocity）

　　c.多样的数据类型（variety）

　　d.巨大的数据价值（value）

　　二.Spark 和 Hadoop的不同

　　Spark是给予map reduce 算法实现的分布式计算，拥有Hadoop MapReduce所具有的有点，但不同与MaoReduce的是Job中间输出和结果可以保存在内存中，从而不用在读写HDFS，因此Spark能更好的适用于数据挖掘与机器学习等需要迭代的map reduce的算法

　　架构如图：　　

　　1. Spark的中间数据放到内存中，对于迭代运算效率比较高。

　　2. Spark比Hadoop更通用。

Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap,sample,groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，他们把这些操作称为Transformations。同时还提供Count, collect, reduce,lookup, save等多种actions。

这些多种多样的数