6.Spark运行环境

最新推荐文章于 2024-04-21 22:14:12 发布
原创 最新推荐文章于 2024-04-21 22:14:12 发布 · 226 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #big data

本文介绍了Spark的Local模式和Standalone模式的运行环境设置。在Local模式下，详细讲解了解压缩文件、启动Local环境、使用命令行工具以及退出和提交应用的过程。在Standalone模式中，涉及了集群规划、配置文件修改、启动集群以及提交应用的步骤。同时，文章还提到了配置历史服务以记录任务运行情况。

Spark运行环境

1. Spark运行环境

1.1 Spark运行概述

  • Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行

    请添加图片描述

1.2 Local模式

1.2.1 Local模式概述

  • 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。

1.2.2 解压缩文件rz -E

  • 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格

    tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-local

1.2.3 启动Local环境

  • 进入解压缩后的路径，执行如下指令

    bin/spark-shell

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SlOQVYtD-1655395197177)(assets/1650166622007.png)]

  • 启动成功后，可以输入网址进行Web UI监控页面访问

    • 输入网页地址：http://hadoop-001:4040

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MwpFJK5K-1655395197178)(assets/1650166688407.png)]

1.2.4 命令行工具

  • 在解压缩文件夹下的data目录中，添加word.txt文件。在命令行工具中执行如下代码指令（和IDEA中代码简化版一致）

    sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

在这里插入图片描述

1.2.5 退出本地模式

  • 按键Ctrl+C或输入Scala指令

    :quit

1.2.5 直接提交应用

  • 直接提交local本地应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[4] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  1. –class表示要执行程序的主类，此处可以更换为咱们自己写的应用程序

  2. –master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU核数量

  3. spark-examples_2.12-3.0.0.jar 运行的应用类所在的jar包，实际使用时，可以设定为咱们自己打的jar包

  4. 数字10表示程序的入口参数，用于设定当前应用的任务数量
    在这里插入图片描述

2.1 Standalone模式

2.1.1 概述

  • local本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark的Standalone模式体现了经典的master-slave模式。

    集群规划:

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BPTZlzxW-1655395197180)(assets/1650168056565.png)]

2.1.2 解压缩文件

  • 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩在指定位置

    tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-standalone

2.1.3 修改配置文件

1）进入解压缩后路径的conf目录，修改slaves.template文件名为slaves

mv slaves.template slaves
  1. 修改slaves文件，添加worker节点
hadoop-001
hadoop-002
hadoop-003
  1. 修改spark-env.sh.template文件名为spark-env.sh
mv spark-env.sh.template spark-env.sh
  1. 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop-001
SPARK_MASTER_PORT=7077
  • 注意：7077端口，相当于hadoop3内部通信的8020端口，此处的端口需要确认自己的Hadoop配置
  1. 分发spark-standalone目录

2.1.4 启动集群

  1. 执行脚本命令：
sbin/start-all.sh
  1. 查看三台服务器运行进程
================hadoop-001================
3330 Jps
3238 Worker
3163 Master
================hadoop-002================
2966 Jps
2908 Worker
================hadoop-003================
2978 Worker
3036 Jps
  1. 查看Master资源监控Web UI界面: http://hadoop-001:8080

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9TKENxtI-1655395197181)(assets/1650169998906.png)]

  1. 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  • –class表示要执行程序的主类

  • –master spark://hadoop-001:7077 独立部署模式，连接到Spark集群

  • spark-examples_2.12-3.0.0.jar 运行类所在的jar包

  • 数字10表示程序的入口参数，用于设定当前应用的任务数量

2. 配置历史服务

2.1 简介

  • 由于spark-shell停止掉后，集群监控hadoop-001:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

2.2 如何配置

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2) 修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled     true
spark.eventLog.dir        hdfs://hadoop-001:9820/directory

注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /directory

3) 修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop-001:9820/directory 
-Dspark.history.retainedApplications=30"
  • 参数1含义：WEB UI访问的端口号为18080
  • 参数2含义：指定历史服务器日志存储路径
  • 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4) 分发配置文件

5) 重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6) 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JQ4b8Z1M-1655395197182)(assets/clip_image002.jpg)]

7) 查看历史服务：http://hadoop-001:18080

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7rhGqHFZ-1655395197182)(assets/1650213418544.png)]

ark.examples.SparkPi
–master spark://hadoop-001:7077
./examples/jars/spark-examples_2.12-3.0.0.jar
10




![\[外链图片转存中...(img-JQ4b8Z1M-1655395197182)\]](https://img-blog.csdnimg.cn/4d047bd3f4cd45a48f0ee7b9b442460f.jpeg)


**7)**    查看历史服务：http://hadoop-001:18080

![\[外链图片转存中...(img-7rhGqHFZ-1655395197182)\]](https://img-blog.csdnimg.cn/3869c04ddd8d4a0b916bbebb846f2de4.png)
pyspark报错 org.apache.spark.SparkException: Python worker failed to connect back.
yy的博客
07-03 1253
pyspark
Hadoop完全分布式+spark（python）
Aurast的博客
03-16 2166
大数据学习Hadoop完全分布式+spark搭建
Spark开始 ———环境搭建
qq_40471761的博客
01-26 244
Standalone模式 准备好两台以上的Linux机器，安装好JDK1.7+ 1.下载并上传Spark安装包 注意与hadoop对应得版本号 下载链接：https://archive.apache.org/dist/spark/ 解压命令：tar -xf spark-2.1.1-bin-hadoop2.6.tgz -C ..........   2.配置Spark 配置位于c...
Spark运行环境搭建
weixin_52112640的博客
06-07 3315
（2）启动Local环境 进入解压缩后的路径，执行一下命令
Spark的conf目录下没有slaves文件，spark3.1.2解压以后conf目录下没有slaves，spark找不到slaves怎么办，解决slaves问题
weixin_52450014的博客
10-28 5648
Spark的conf目录下没有slaves文件？spark3.1.2解压以后conf目录下没有slaves怎么办？spark找不到slaves怎么办，解决slaves问题 大数据的小伙伴晚上，今天在搭建spark集群的时候，发现我的我的spark解压以后/Spark/conf/目录下既然没有slaves文件，（我的spark是3.1.2版本的）我以为我是是不是解压的时候出错了。但是后面想想解压包也是官方下载不可能出错啊。 出现这个问题我就思考一下，发现conf目录下有一个workers.template。
Spark部署详细教程
aj_shang的博客
03-01 1583
部署Standalone模式下的spark及访问web管理页面失败问题
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1203
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1798
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
Spark源码解析之org.apache.spark.launcher.Main源码解析
攸的博客
01-20 1411
不管是启动spark-shell，或者通过spark-submit提交jar，还是其他其他master或者worker的脚本，最后都会进入spark-class，并调用launch.main方法构建执行命令。 java -Xmx128m -cp ...jars org.apache.spark.launcher.Main "$@" 也就是说org.apache.spark.launcher....
大数据Spark--运行环境和架构
xd__xy的博客
04-21 1443
Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master和Worker，这里的Master是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于Yarn环境中的RM, 而Worker 呢，也是进程，一个Worker运行在集群中的一台服务器上，由Master分配资源对数据进行并行的处理和计算，类似于Yarn环境中NM。这里所谓的有向无环图，并不是真正意义的图形，而是由Spark程序直接映射成的数据流的高级抽象模型。
Spark集群部署
09-19 806
Spark集群要与Hadoop集群一样的部署方案，需要在Hadoop的master机上先把Spark相关的进行设置，然后把master机上的Spark环境复制到worker机。 同时也是使用hadoop用户去操作Spark，这一点非常重要。 想要完成以上操作，需要对Spark的目录结构有所了解 Spark根目录下的conf 里存放的配置文件，比较重要的，而且需要自行修改的是spark-env.sh.template,slaves.template ,尽量不要在原始模板上直接进行修改，最好是cop.
Spark环境搭建安装及配置详细步骤（保姆教程）
m0_67144365的博客
05-11 1万+
Spark环境搭建安装及配置详细步骤
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
春和的博客
05-20 2964
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境 Spark的Standalone模式体现了经典的master-slave模式。 yarn模式就是将spark计算所需要的资源等的调度工作交由Yarn
Spark集群搭建
CodeTravell的博客
11-02 264
Spark(standalone)集群搭建 1.修改配置文件名 修改slave.template为slave 命令——mv slave.template slave 修改spark-env.sh.template为spark-env.sh 命令——mv spark-env.sh.template spark-env.sh 2.修改配置文件 修改slave文件 node02 node03 no...
安装分布式spark
niki_yang
06-18 290
1. 下载 http://spark.apache.org/downloads.html 如：版本自行选择 sudo wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz 2. 解压 sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop3.2.tgz -C /usr/local/bigdata/
搭建Spark开发环境（第二弹）
m0_57781407的博客
08-02 2231
😊😊😊欢迎来到本博客😊😊😊本篇介绍的是Spark环境的准备🛠🛠🛠预更新📑：体验第一个Spark程序一.环境准备二·.spark的部署方式三.spark集群安装部署一.环境准备配置环境：Hadoop、spark（本人是2.0.0）、JDK（1.8）、Linux（Centos6.7）二·.spark的部署方式spark部署模式分为Local模式和集群模式，在local模式，常用于本地开发与测试，集群模式又分为standalone。.........
【spark】spark的三种常用运行环境：Local，Standalone，Yarn
weixin_44441131的博客
07-16 2012
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行,在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。...
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
热门推荐
JunLeon的博客
03-21 4万+
Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充：spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安
【CentOS】Spark 运行环境（Local、Standalone）
懂得一千零一种,赋予你失败的方法！
12-28 1294
文章目录一、Local 模式1、启动 Local 环境2、测试3、提交应用程序（jar包）二、Standalone 模式1、解压压缩文件2、修改配置文件 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行（主要是 Local 和 Standalone 两种，yarn之后再介绍）。 一、Local 模式 之前在 IDEA 中运行代码的环境我们称之为.
at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:650) at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:281) at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:237) at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:122) at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$3.<init>(SparkSubmit.scala:1103) at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:1103) at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86) at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1120) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1129) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
最新发布
06-01
<think>好的，用户现在遇到了Spark提交参数验证失败的错误，具体是当master设置为'yarn'时，提示需要设置HADOOP_CONF_DIR或YARN_CONF_DIR环境变量。我需要根据提供的引用信息和系统知识来帮助用户分析原因并提供解决方案。首先，用户提供的引用[1]显示错误发生在验证提交参数时，特别是当master为yarn时，环境变量未正确设置。这说明根本原因在于Spark在YARN模式下需要访问Hadoop的配置文件，而这些配置文件的路径没有正确指定。引用[3]提到了Spark安装过程中需要配置spark-env.sh，设置JAVA_HOME、SCALA_HOME和HADOOP_HOME。这可能暗示用户可能在安装或配置过程中遗漏了HADOOP_CONF_DIR或YARN_CONF_DIR的设置。正确的做法应该是在spark-env.sh中添加这些环境变量，指向包含yarn-site.xml和hdfs-site.xml等配置文件的目录，通常是Hadoop安装目录下的etc/hadoop。引用[2]中的用户尝试修改了hdfs-site.xml中的副本数，并重新格式化了namenode，这可能与HDFS配置相关，但问题核心在于Spark找不到YARN的配置。因此，解决方案应集中在正确设置环境变量，确保Spark能够找到YARN和Hadoop的配置。接下来，需要分步骤说明解决方案：首先检查环境变量是否设置，如果没有，则在spark-env.sh中配置；其次，验证配置路径是否正确；最后，提供具体的命令示例，如导出变量或修改启动脚本。此外，用户可能需要了解如何验证配置是否正确，例如检查目录是否存在，或者运行示例应用测试。同时，提醒用户注意路径权限问题，避免因权限不足导致读取失败。最后，生成相关问题，帮助用户深入理解SparkonYARN的配置和常见问题排查，比如资源分配、日志查看等。</think>### SparkSubmitArguments验证失败错误分析 该错误发生在Spark向YARN集群提交任务时，系统未检测到Hadoop/YARN的配置文件路径。错误代码`validateSubmitArguments`明确要求必须设置以下环境变量之一： $$HADOOP\_CONF\_DIR \quad \text{或} \quad YARN\_CONF\_DIR$$ #### 错误原因 1. **配置文件缺失**：Spark需要读取`yarn-site.xml`和`core-site.xml`等配置文件来连接YARN集群 2. **路径配置错误**：环境变量指向的路径不包含Hadoop配置文件 3. **权限问题**：当前用户无权限访问配置文件目录（较少见） #### 解决方案 **步骤1：定位Hadoop配置目录** - 典型路径：`$HADOOP_HOME/etc/hadoop`（需替换为实际安装路径） - 验证命令： ```bash ls $HADOOP_HOME/etc/hadoop | grep yarn-site.xml ``` **步骤2：配置环境变量** 在`spark-env.sh`中添加（示例）： ```bash export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop export YARN_CONF_DIR=/opt/hadoop/etc/hadoop ``` 或在提交命令时指定： ```bash spark-submit --master yarn \ --conf spark.hadoop.hadoop.conf.dir=/opt/hadoop/etc/hadoop \ --conf spark.hadoop.yarn.conf.dir=/opt/hadoop/etc/hadoop \ your_app.jar ``` **步骤3：验证配置有效性** ```bash # 检查环境变量是否生效 echo $HADOOP_CONF_DIR # 测试提交任务 spark-submit --master yarn --deploy-mode client \ --class org.apache.spark.examples.SparkPi \ $SPARK_HOME/examples/jars/spark-examples_*.jar 10 ``` [^1]: 错误直接来源于Spark参数验证机制的设计要求 [^2]: 配置修改后需要重启相关服务才能生效 [^3]: 环境变量设置必须与Hadoop实际安装路径一致
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值