Spark安装配置（本地模式、伪分布式、集群模式--standalone,yarn模式）

Spark安装配置

---

---

2.1 Spark安装

官网地址：http://spark.apache.org/
文档地址：http://spark.apache.org/docs/latest/
下载地址：http://spark.apache.org/downloads.html
下载Spark安装包
下载地址：https://archive.apache.org/dist/spark/
备注：不用安装scala

安装步骤：
1、下载软件解压缩，移动到指定位置

[root@linux121 ~]# cd /opt/lagou/software/
[root@linux121 software]# tar zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz
[root@linux121 software]# mv spark-2.4.5-bin-without-hadoop-scala-2.12/ ../servers/spark-2.4.5/

2、设置环境变量，并使之生效

vim /etc/profile

export SPARK_HOME=/opt/lagou/servers/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

#cmd为windows命令，这里将其删除
[root@linux121 software]# cd $SPARK_HOME/bin
[root@linux121 bin]# ls *.cmd
[root@linux121 bin]# rm -rf *.cmd

3、修改配置
文件位置：$SPARK_HOME/conf
修改文件：slaves、spark-defaults.conf、spark-env.sh、log4j.properties

[root@linux121 conf]# cp spark-env.sh.template spark-env.sh
[root@linux121 conf]# cp slaves.template slaves
[root@linux121 conf]# cp spark-defaults.conf.template spark-defaults.conf
[root@linux121 conf]# cp log4j.properties.template log4j.properties

more slaves

linux121
linux122
linux123

more spark-defaults.conf

spark.master spark://linux121:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://linux121:9000/spark-eventlog
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 512m

创建 HDFS 目录：hdfs dfs -mkdir /spark-eventlog
备注：

• spark.master。定义master节点，缺省端口号 7077
• spark.eventLog.enabled。开启eventLog
• spark.eventLog.dir。eventLog的存放位置
• spark.serializer。一个高效的序列化器
• spark.driver.memory。定义driver内存的大小（缺省1G）

修改spark-env.sh
添加如下信息

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export HADOOP_CONF_DIR=/opt/lagou/servers/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/lagou/servers/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=linux121
export SPARK_MASTER_PORT=7077

备注：这里使用的是 spark-2.4.5-bin-without-hadoop，所以要将 Hadoop 相关jars 的位置告诉Spark

4、将Spark软件分发到集群；修改其他节点上的环境变量

[root@linux121 conf]# cd /opt/lagou/servers
[root@linux121 servers]# scp -r spark-2.4.5/ linux122:$PWD
[root@linux121 servers]# scp -r spark-2.4.5/ linux123:$PWD

5、启动集群

cd $SPARK_HOME/sbin 
./start-all.sh

分别在linux121、linux122、linux123上执行 jps，可以发现：
linux121：Master、Worker
linux122：Worker
linux123：Worker
此时 Spark 运行在 Standalone 模式下。

在浏览器中输入：http://linux121:8080/
可以看见如下 Spark 的 Web 界面：

备注：在$HADOOP_HOME/sbin 及 $SPARK_HOME/sbin 下都有 start-all.sh 和stop-all.sh 文件

在输入 start-all.sh / stop-all.sh 命令时，谁的搜索路径在前面就先执行谁，此时会产生冲突。

解决方案：

• 删除一组 start-all.sh / stop-all.sh 命令，让另外一组命令生效
• 将其中一组命令重命名。如：将 $HADOOP_HOME/sbin 路径下的命令重命名为：start-all-hadoop.sh / stop-all-hadoop.sh
• 将其中一个框架的 sbin 路径不放在 PATH 中
  
  6、集群测试

[root@linux121 ~]# run-example SparkPi 10

#hdfs上先创建/wcinput/wc.txt
[root@linux121 ~]# hdfs dfs -mkdir -p /wcinput/wc.txt
[root@linux121 ~]# spark-shell

scala> val lines = sc.textFile("/wcinput/wc.txt")
scala> lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)

Spark集群是否一定依赖hdfs？不是的，除非用到了hdfs。

Apache Spark支持多种部署模式。最简单的就是单机本地模式（Spark所有进程都运
行在一台机器的JVM中）、伪分布式模式（在一台机器中模拟集群运行，相关的进程
在同一台机器上）。分布式模式包括：Standalone、Yarn、Mesos。

Apache Spark支持多种部署模式：

• 本地模式。最简单的运行模式，Spark所有进程都运行在一台机器的 JVM 中
• 伪分布式模式。在一台机器中模拟集群运行，相关的进程在同一台机器上（用的非常少）
• 分布式模式。包括：Standalone、Yarn、Mesos
  • Standalone。使用Spark自带的资源调度框架
  • Yarn。使用 Yarn 资源调度框架
  • Mesos。使用 Mesos 资源调度框架

2.2 本地模式

本地模式部署在单机，主要用于测试或实验；最简单的运行模式，所有进程都运行在
一台机器的 JVM 中；
本地模式用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用
程序逻辑上有没有问题；

这种模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用。
不用启动Spark的Master、Worker守护进程，也不用启动Hadoop的服务（除非用
到HDFS）。

• local：在本地启动一个线程来运行作业；
• local[N]：启动了N个线程；
• local[*]：使用了系统中所有的核；
• local[N,M]：第一个参数表示用到核的个数；第二个参数表示容许作业失败的次数

前面几种模式没有指定M参数，其默认值都是1；
测试：
1、关闭相关服务

stop-dfs.sh
stop-all.sh

2、启动 Spark 本地运行模式

spark-shell --master local

备注：此时可能有错误。主要原因是配置了日志聚合(即是用来了hdfs，但hdfs服务关闭了)，关闭该选项即可

# spark-defaults.conf文件中，注释以下两行：
spark.eventLog.enabled true
spark.eventLog.dir hdfs://linux121:9000/spark-eventlog

3、使用 jps 检查，发现一个 SparkSubmit 进程
这个SparkSubmit进程又当爹、又当妈。既是客户提交任务的Client进程、又是
Spark的driver程序、还充当着Spark执行Task的Executor角色。

4、执行简单的测试程序

val lines = sc.textFile("file:///root/a.txt") lines.count

2.3 伪分布式

伪分布式模式：在一台机器中模拟集群运行，相关的进程在同一台机器上；
备注：不用启动集群资源管理服务；

• local-cluster[N,cores,memory]
  • N模拟集群的 Slave（或worker）节点个数
  • cores模拟集群中各个Slave节点上的内核数
  • memory模拟集群的各个Slave节点上的内存大小

备注：参数之间没有空格，memory不能加单位
1、启动 Spark 伪分布式模式

spark-shell --master local-cluster[4,2,1024]

2、使用 jps 检查，发现1个 SparkSubmit 进程和4个
CoarseGrainedExecutorBackend 进程
SparkSubmit依然充当全能角色，又是Client进程，又是Driver程序，还有资源管理
的作用。
4个CoarseGrainedExecutorBackend，用来并发执行程序的进程。

3、执行简单的测试程序

spark-submit --master local-cluster[4,2,1024] --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-2.4.5.jar 10

备注：

• local-cluster[4,2,1024]，参数不要给太大，资源不够
• 这种模式少用，有Bug。SPARK-32236

2.4 集群模式–Standalone模式

参考：http://spark.apache.org/docs/latest/spark-standalone.html

• 分布式部署才能真正体现分布式计算的价值
• 与单机运行的模式不同，这里必须先启动Spark的Master和Worker守护进程；
  关闭 yarn 对应的服务
• 不用启动Hadoop服务，除非要使用HDFS的服务

使用jps检查，可以发现：

• linux121：Master、Worker
• linux122：Worker
• linux123：Worker

使用浏览器查看（linux121:8080）

2.4.1 Standalone 配置

sbin/start-master.sh / sbin/stop-master.sh
sbin/start-slaves.sh / sbin/stop-slave.sh
sbin/start-slave.sh / sbin/stop-slaves.sh
sbin/start-all.sh / sbin/stop-all.sh

备注：./sbin/start-slave.sh [options]；启动节点上的worker进程，调试中较为常用

在 spark-env.sh 中定义：

SPARK_WORKER_CORES：Total number of cores to allow Spark applications to
use on the machine (default: all available cores).
SPARK_WORKER_MEMORY：Total amount of memory to allow Spark
applications to use on the machine, e.g. 1000m , 2g (default: total memory
minus 1 GiB); note that each application’s individual memory is configured
using its spark.executor.memory property.

测试在 spark-env.sh 中增加参数，分发到集群，重启服务：
不设置默认如图：