Spark入门篇

第1章 Spark概述

1.1 什么是Spark

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.2 Spark框架

1、Hadoop MR框架

从数据源获取数据，经过分析计算后，将结果输出到指定位置，核心是一次计算，不适合迭代计算。

2、Spark框架

支持迭代式计算，图形计算

Spark框架计算比MR快的原因是：中间结果不落盘。注意Spark的Shuffle也是落盘的。

1.3 Spark内置模块

Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。

Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。

Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。

Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。

集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

1.4 Spark特点

1）快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。

2）易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法。

3）通用：Spark提供了统一的解决方案。Spark可以用于，交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。减少了开发和维护的人力成本和部署平台的物力成本。

4）兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。

第2章 Spark运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式
大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。

下面详细列举了Spark目前支持的部署模式。

1）Local模式：在本地部署单个Spark服务

2）Standalone模式：Spark自带的任务调度模式。（国内常用）

3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用）

4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。

2.1 Spark安装地址

下载地址：https://spark.apache.org/downloads.html

2.2 Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

2.2.1 安装使用

1）上传并解压Spark安装包

tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz

mv spark-2.4.5-bin-hadoop2.6 spark245

2）添加环境变量

export SPARK_HOME=/opt/spark245
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

3）配置文件

进入配置文件夹

cd /opt/spark245/conf/

复制一份配置文件，并修改

 cp spark-env.sh.template spark-env.sh

在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_221
export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark245
export SPARK_MASTER_IP=192.168.83.100
export SPARK_EXECUTOP_MEMORY=1G

再次复制

cp slaves.template slaves

在配置集群时，需要将全部机器添加到这里

4）官方求PI案例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10

–class：表示要执行程序的主类；

–master local[2]

（1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算

（2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行

（3）local[*]: 自动帮你按照CPU最多核来设置线程数。比如CPU有4核，Spark帮你自动设置4个线程计算。

• spark-examples_2.11-2.4.5.jar：要运行的程序；
• 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

5）结果展示

该算法是利用蒙特·卡罗算法求PI

2.2.2 官方WordCount案例

1）需求：读取多个输入文件，统计每个单词出现的总次数。

2）需求分析：过对单词的分割统计进行计数

3）代码实现：

（1）准备文件

mkdir input

在input下创建2个文件1.txt和2.txt，并输入以下内容

hello scala
hello spark
hello world
hello java
hello python

（2）启动spark-shell

spark-shell

注意：sc是SparkCore程序的入口；spark是SparkSQL程序入口；master = local[*]表示本地模式运行。

（3）再开启一个hadoop001远程连接窗口，发现了一个SparkSubmit进程

运行任务方式说明：spark-submit，是将jar上传到集群，执行Spark任务；spark-shell，相当于命令行工具，本身也是一个Application。

（4）登录hadoop001:4040，查看程序运行情况（注意：spark-shell窗口关闭掉，则hadoop001:4040页面关闭）

说明：本地模式下，默认的调度器为FIFO。

（5）运行WordCount程序

scala> sc.textFile("/root/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res4: Array[(String, Int)] = Array((scala,2), (python,2), (hello,10), (java,2), (world,2), (spark,2))

注意：只有collect开始执行时，才会加载数据。

可登录hadoop001:4040查看程序运行结果

2.3 集群角色

2.3.1 Master和Worker

2.3.2 Driver和Executor

2.3.3 通用运行流程

总结：Master和Worker是Spark的守护进程，即Spark在特定模式下正常运行所必须的进程。Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。

2.4 Standalone模式

Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他的框架。是相对于Yarn和Mesos来说的。

2.4.1 安装使用

1）集群规划

	hadoop001	hadoop002	hadoop003
Spark	MasterWorker	Worker	Worker

2）再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone

tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz
mv spark-2.4.5-bin-hadoop2.6 spark-standalone

3）进入Spark的配置目录/opt/spark-standalone/conf