数据分析2

（一）Standalone模式介绍
Spark 的 Standalone 模式是一种独立的集群部署模式，自带完整服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。

一句话理解是：它自带yarn功能。

（二）Standalone模式准备工作
要布置standalone模式，需要准备多台机器（linux，ip设置，能ping 百度），免密互联。

这里我们就使用上一个阶段学习hadoop时配置的3台机器。

配置步骤
整个配置步骤一共分成8步。

1.上传spark安装包到某一台机器（例如:hadoop100）。 spark.3.1.2-bin-hadoop3.2.tgz。

2.解压。 把第一步上传的安装包解压到/opt/module下（也可以自己决定解压到哪里）。对应的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/

3.重命名。进入/opt/module/把解压的内容重命名一下，mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

4.修改workers.template文件。这个文件在spark的安装目录下的conf目录下，先把名字改为workers，然后把内容设置为三台机器的主机名，具体如下。

hadoop100

hadoop101

hadoop102

5.修改spark-env.sh.template文件。先把名字改成spark-env.sh，然后修改内容，添加JAVA_HOME环境变量和集群对应的master节点以及通信端口，具体如下。

export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop100

SPARK_MASTER_PORT=7077

6.同步设置完毕的Spark目录到其他节点。使用我们之前封装的命令:

xsync /opt/module/spark-standalone/

7.启动SPARK集群。进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。

8.查看启动效果。打开浏览器，输入hadoop100:8080。看到效果如下：

9.验收效果。通过jps命令去每台机器上查看运行的进程。请观察是否在hadoop100上看到了master，在hadoop101,hadoop102上看到了salver。

（四）提交Spark作业
把spark程序提交给集群执行。切换到目录 /opt/module/spark-standalone/bin下，可以看到有一个spark-submit可执行文件，我们通过它来提交任务。bin/spark-submit

它支持的参数如下：

--class Spark 程序中包含主函数的类

--master Spark 程序运行的模式 (环境)

--deploy - mode master 设为 Yarn 模式之后，使用的模式 client 和 cluster

--driver - cores master 设为 Yarn 模式之后，设置 driver 端的 cores 个数

--driver - memory master 设为 Yarn 模式之后，用于设置 driver 进程的内存（单位 G 或单位 M）

--num - executors master 设为 Yarn 模式之后，用于设置 Spark 作业总共要用多少个 Executor 进程来执行

--executor - memory 指定每个 executor 可用内存（单位 G 或单位 M）

--total - executor - cores 2 指定所有 executor 使用的 cpu 核数为 2 个

--executor - cores 指定每个 executor 使用的 cpu 核数

application-jar 打好包的应用 jar，包含依赖。这个 URL 在集群中全局可见。比如 hdfs 的共享存储系统，如果是 file://path，那么所有的节点的 path 都包含同样的 jar

application-arguments: 传递给main()方法的参数

运行代码

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop100:7077 /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar 50
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.youkuaiyun.com/2301_82251033/article/details/147383781