零、本节学习目标
- 了解什么是Spark计算框架
- 了解Spark计算框架的特点
- 了解Spark计算框架的应用场景
- 理解Spark框架与Hadoop框架的对比
一、Spark的概述
(一)Spark的组件
- Spark在
2013
年加入Apache孵化器项目,之后获得迅猛的发展,并于2014
年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎,它是基于内存计算的大数据并行计算框架,适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。