大数据计算引擎之Saprk入门

最新推荐文章于 2024-01-22 21:06:41 发布

原创

最新推荐文章于 2024-01-22 21:06:41 发布 · 306 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

文章目录

概述
- Spark的几个核心点
- Spark的四大特点
Spark的运行模式

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

详细博客可参阅大数据计算引擎之Spark基础

概述

Spark的几个核心点

**Spark Core：**实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。

**Spark SQL：**是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的SQL方言(HQL)来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。

**Spark Streaming：**是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。

**Spark MLlib：**提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。

**集群管理器：**Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

Spark的四大特点

1）快: 与Hadoop得MR相比，Spark基于内存的运算快100倍（官网说的），基于硬盘也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果存在于内存中；

2） 易用： Spark支持Java，Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同应用、而且Spark支持交互式的Python和Scala的shell。可以非常方便的在这些shell中使用Spark集群来验证解决问题。

3） 通用： Spark提供了统一的解决方案。Spark可以用于批处理，交互式查询（SparkSQL）,实时流处理（SparkStreaming）,机器学习和图计算。

4）兼容性： Spark可以非常方便的和其他的开源产品进行融合。比如说，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且处理所有Hadoop支持的数据，包括HDFS和HBase等。

Spark的运行模式

重要角色

Driver(驱动器)

Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：