spark-on-yarn模式配置

最新推荐文章于 2025-05-18 17:16:40 发布
原创 最新推荐文章于 2025-05-18 17:16:40 发布 · 882 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在已有的Hadoop集群上配置并运行Spark应用程序。主要内容包括：在系统配置文件中设置Hadoop和Spark环境变量，配置Spark环境变量，以及通过YARN模式提交Spark作业。

前期依赖，正常的集群，包括jdk、hadoop、spark.
- 1.在etc/profile里面增加如下几段,有了的就不用重复了

##hadoop
export HADOOP_HOME=/soft/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

- 2 在/spark/conf/spark-env.sh最后面加上如下配置

export JAVA_HOME=/soft/jdk1.8.0_65
export SPARK_MASTER_HOST=192.168.56.130
export SPARK_MASTER_PORT=7077
export HADOOP_HOME=/soft/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

- 3 执行下列语句就可以了，sparkAPi指的是你要运行的路径.类名(比如com.zouzou.sparkApi，我写的主程序是sparkApi，前面的都是包名称)，–master yarn就表示是以yarn模式运行。arg[0],arg[1]之类的是程序需要的参数
- /soft/spark/bin/spark-submit –class sparkApi –master yarn sparkjob-1.0-SNAPSHOT.jar arg[0] arg[1]

Spark - yarn配置
weixin_43364172的博客
06-26 549
Spark需要yarn（hadoop版本2.7.7），在ubuntu19上配置步骤如下。 配置 1、修改hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 2、修改yarn-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 3、修改co...
【Spark】on Yarn 模式安装配置
瘦熊的博客
06-12 8742
在安装spark前先安装scala 下载Scala 上传到/opt/modules/softwares目录并解压到/opt/modules目录下 root@master:/opt/softwares# ll total 745404 drwxr-xr-x 2 root root 4096 6月 12 17:08 ./ drwxr-xr-x 7 root root 4096 6...
摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署
weixin_65694308的博客
07-02 2484
export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。相比原理hadoop集群,需要多启动一个spark的自己的历史服务,它是依赖hadoop的历史服务的!
Spark配置—Yarn模式
Star-Technology
06-28 1576
Step 1： 可以尝试先搭建HA模式，然后Yarn模式只是在这个基础上做了一些修改而已 http://blog.youkuaiyun.com/ymf827311945/article/details/73822832Step 2： 在node11节点上执行命令:vi ~/.bash_profile source ~/.bash_profile添加如下属性：export HADOOP_INSTALL=
Spark on yarn 配置
水彩橘子
07-04 2069
1、环境介绍 操作系统：centos 7.9 jdk版本：8u291 hadoop版本:2.10.1 spark版本：2.4.8 （因为自建了hadoop 所以使用without-hadoop包） spark下载地址：https://archive.apache.org/dist/spark/spark-2.4.8/ 注： spark on yarn 运行方式有两种 client和cluster模式： client方式：任务调度driver，运行在当前提交程序的客户机上，作业完成前不能关闭，显示输出在客
Spark环境搭建-Spark-on-Yarn
m0_59432297的博客
11-19 600
大数据开发spark-on-yarn环境搭建
Spark-On-Yarn的两种模式(DeployMode)
大数据跟我学i
03-17 892
文章目录Client(了解)Cluster模式(开发使用) Client(了解) Spark的Driver驱动程序运行在提交任务的客户端上。 优点 因为Driver在客户端，所有在Driver中的程序结果输出可以客户端控制台看到 缺点 和集群的通信成本高 当驱动进程挂掉，需要手动启动 Cluster模式(开发使用) Spark的Driver驱动程序，运行在Yarn集群上 优点 1.因为Driver是交给Yarn管理的，如果失败会有Yarn重启 2. 和集群的通信成本低 缺
【大数据学习 | Spark-Core】yarn-client与yarn-cluster的区别
2301_80912559的博客
11-19 665
这3样需要从提交程序端 上传到 /user/xxx/.sparkStaging/yarnid/目录下（分布式缓存），然后再分发到运行任务的计算节点。当在客户端提交多个spark应用时，它会对客户端造成很大的网络压力，yarn-client模式只适合 交互式环境开发。客户端一经提交可以离开，常用于正常的提交应用，适合生产环境。，那运行和监控executor 的任务都是在yarn集群里面。，所以driver端（客户端）是不能离开的。3）运行任务的jar包（带有代码的jar包）2）运行要依赖的jar包。
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践
天冬忘忧的博客
11-06 2461
本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面理解 Spark on YARN 这一重要的大数据技术应用。
第十二章 spark配置Yarn模式（混合部署模式）
开朗小哥的博客
02-20 2930
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 第九章 spark独立模式部署（Standalone） 第十章 spark配置历史服务 第十一章 搭建Spark高可用（HA） 第十二章 spark配置Yarn模式 待更新 文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN
spark on yarn配置
Nickkun的博客
11-19 1928
在安装好spark后 修改spark-env.sh 若没有 将模板文件改名为此名称 在spark安装目录下的conf找到spark-env.sh 添加HADOOP_HOME和HADOOP_CONF_DIR让其加载yarn-site.xml文件配置 修改spark-defaults.conf 同在conf文件夹下找到spark-defaults.conf.template文件改名spark-defaults.conf 添加如下 然后将spark安装目录下的jars中的文件 put到hdfs上图所指
YARN上Spark的资源分配配置
danpu0978的博客
04-24 888
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark-配置yarn模式
2301_80936715的博客
05-18 788
解压的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module。1.上传并解压spark-3.1.1-bin-hadoop3.2.tgz （/opt/software)解压之后的目录为spark-yarn（原为spark-3.1.1-bin-hadoop3.2.tgz）运行： ./start-all.sh 和 ./start-history-server.sh。进入/opt/module/spark-yarn/sbin。
Spark运行环境——Yarn模式
weixin_52948205的博客
10-11 1776
Spark运行环境——Yarn模式
Spark 配置 YARN
H_L_4513196的博客
05-07 413
确保你已经安装并配置好了 Hadoop YARN 集群，同时安装了 Spark。Hadoop 和 Spark 的版本要相互兼容。通过以上步骤，你就能在 Spark 中成功配置 YARN 并运行 Spark 应用了。要是配置无误，这个示例应用会在 YARN 集群上运行并输出计算结果。替换成你实际的 Hadoop 配置目录。如果该文件不存在，可以复制。文件位于 Spark 的。在 Hadoop 的。
Spark On YARN环境配置
feizuiku0116的博客
02-06 3296
一、准备工作 点击查看Spark Standalone HA环境配置教程 二、修改配置文件 一、修改spark-env.sh cd /export/server/spark/conf vim /export/server/spark/conf/spark-env.sh # 添加以下内容 HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/ YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
配置 Spark 以 YARN 模式
lqlj2233的博客
05-13 568
检查 YARN Web UI（默认端口 8088）中任务状态和日志输出。提交示例程序，验证集群是否正常工作。
关于Spark的部署yarn模式
m0_67106804的博客
06-08 695
比较yarn-client和yarn-cluster的区别
spark-submit on yarn 提交scala程序
最新发布
10-14
<think>我们参考用户提供的引用内容，用户想了解如何使用spark-submit在YARN上提交Scala程序。根据引用[2]、[3]、[4]的内容，我们可以整理出提交步骤和关键参数说明。 用户提供的引用中，引用[2]和[3]详细说明了spark-submit的基本语法和常用参数，引用[4]展示了一个具体的提交示例。此外，引用[1]和[5]提供了关于获取applicationId和spark-submit类源码的信息，但用户当前的问题集中在提交方法上，因此我们主要关注提交步骤。 提交Scala程序到YARN集群的基本步骤： 1. 确保已经将Scala程序打包成JAR文件（例如使用sbt或maven）。 2. 使用spark-submit脚本提交应用程序，并指定master为yarn，同时选择deploy-mode（cluster或client）。 3. 设置必要的参数，如主类（--class）、应用程序名称、内存、核心数等。 4. 指定应用程序JAR的路径以及应用程序所需的参数。 关键参数说明（针对YARN）： - `--master yarn`: 指定集群管理器为YARN。 - `--deploy-mode`: 可以选择`cluster`（推荐，driver运行在集群中）或`client`（driver运行在提交的机器上）。 - `--class`: 指定主类的全限定名（即包含main方法的类）。 - `--name`: 设置应用程序名称（可选，但有助于识别）。 - 资源相关参数：如`--driver-memory`, `--executor-memory`, `--executor-cores`, `--num-executors`等。 具体示例（参考引用[4]）： ```bash spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 500m \ --executor-memory 500m \ --executor-cores 1 \ --class com.example.MainClass \ /path/to/your-application.jar \ [application-arguments] ``` 注意：在提交之前，确保Hadoop和Spark的环境变量已正确配置，并且YARN集群运行正常。 另外，根据引用[1]，如果需要在提交后获取applicationId，可以在提交时捕捉标准输出并解析特定模式（如“Yarn Application id: ”后面的字符串）来获取，或者通过SparkContext（在程序中）使用`sc.applicationId`获取（但在cluster模式下，程序已提交到集群，无法直接获取标准输出，所以通常通过日志或YARN的API来获取）。 因此，我们给出以下完整回答： </think>### 使用 spark-submit 在 YARN 上提交 Scala 程序的方法 #### **1. 基本语法格式** ```bash spark-submit \ --master yarn \ # 指定YARN集群 --deploy-mode <cluster/client> \ # 部署模式 --class <主类全限定名> \ # Scala主类 --jars <依赖库列表> \ # 额外JAR包（可选） <应用程序JAR路径> \ [应用程序参数] ``` #### **2. 关键参数说明** | 参数 | 作用 | 示例 | |------|------|------| | `--master` | 指定集群管理器 | `yarn` | | `--deploy-mode` | 部署模式（集群/客户端） | `cluster`（Driver在YARN运行） | | `--class` | Scala主类全名 | `com.example.MyApp` | | `--driver-memory` | Driver进程内存 | `1g` | | `--executor-memory` | Executor内存 | `2g` | | `--num-executors` | Executor数量 | `4` | | `--conf` | 自定义Spark配置 | `spark.serializer=org.apache.spark.serializer.KryoSerializer` | #### **3. 完整提交示例** ```bash spark-submit \ --master yarn \ --deploy-mode cluster \ # 推荐生产环境使用cluster模式 --driver-memory 2g \ --executor-memory 4g \ --num-executors 5 \ --executor-cores 2 \ --class com.data.MyETLApp \ # 自定义主类名 --jars /lib/dependency1.jar,/lib/dependency2.jar \ /apps/my-spark-app.jar \ # 应用程序JAR路径 input_path=hdfs:///data/input output_path=hdfs:///data/output # 程序参数 ``` #### **4. 验证提交结果** - **查看ApplicationId**： ```scala // 在Spark代码中获取 val appId = spark.sparkContext.applicationId ``` 或在提交后解析日志（引用[1]）： ```bash grep "Yarn Application id" spark-submit.log ``` - **监控应用**： 访问YARN Web UI：`http://<yarn-resourcemanager>:8088` #### **5. 注意事项** 1. **JAR包准备**：需提前用`sbt assembly`或`mvn package`打包含依赖的JAR 2. **客户端配置**：确保`HADOOP_CONF_DIR`或`YARN_CONF_DIR`指向正确配置 3. **资源超限处理**：若遇资源不足错误，需调整`--queue`指定YARN队列或增加资源参数 4. **日志定位**：Cluster模式下日志需通过YARN命令查看： ```bash yarn logs -applicationId <your_application_id> ``` > 参考示例：提交词频统计程序（引用[4]修改） > ```bash > spark-submit --master yarn --deploy-mode cluster \ > --class com.bigdata.WordCount \ > --executor-cores 2 \ > /jobs/spark-wc.jar \ > hdfs:///input.txt hdfs:///output > ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值