Spark - yarn配置

最新推荐文章于 2025-05-18 17:16:40 发布

此心光明-超然

最新推荐文章于 2025-05-18 17:16:40 发布

阅读量526

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： Spark yarn

本文链接：https://blog.youkuaiyun.com/weixin_43364172/article/details/93754154

在Ubuntu 19上配置Spark运行于Yarn（Hadoop 2.7.7）的详细过程包括：配置hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，安装openssh-server，以及执行文件系统格式化、启动DFS和YARN，YARN的默认端口为8088。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark需要yarn（hadoop版本2.7.7），在ubuntu19上配置步骤如下。

配置

1、修改hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

2、修改yarn-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

3、修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

4、修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5、增加mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.fr

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

此心光明-超然

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署

weixin_65694308的博客

07-02

2375

export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。相比原理hadoop集群,需要多启动一个spark的自己的历史服务,它是依赖hadoop的历史服务的!

Spark-On-Yarn的两种模式(DeployMode)

大数据跟我学i

03-17

852

文章目录Client(了解)Cluster模式(开发使用) Client(了解) Spark的Driver驱动程序运行在提交任务的客户端上。优点因为Driver在客户端，所有在Driver中的程序结果输出可以客户端控制台看到缺点和集群的通信成本高当驱动进程挂掉，需要手动启动 Cluster模式(开发使用) Spark的Driver驱动程序，运行在Yarn集群上优点 1.因为Driver是交给Yarn管理的，如果失败会有Yarn重启 2. 和集群的通信成本低缺

参与评论您还未登录，请先登录后发表或查看评论

第十二章 spark配置Yarn模式（混合部署模式）

开朗小哥的博客

02-20

2848

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新第九章 spark独立模式部署（Standalone）第十章 spark配置历史服务第十一章搭建Spark高可用（HA）第十二章 spark配置Yarn模式待更新文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN

spark-配置yarn模式

最新发布

2301_80936715的博客

05-18

678

解压的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module。1.上传并解压spark-3.1.1-bin-hadoop3.2.tgz （/opt/software)解压之后的目录为spark-yarn（原为spark-3.1.1-bin-hadoop3.2.tgz）运行： ./start-all.sh 和 ./start-history-server.sh。进入/opt/module/spark-yarn/sbin。

spark-yarn配置信息

daxuddaai的博客

10-21

276

conf/spark-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 export YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop spark-defaults.conf 配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir hdfs://linux1:8020/directory 需要启动hadoop集群，.

部署Spark-YARN模式

m0_37559973的博客

10-03

952

部署Spark-YARN模式

spark-on-yarn模式配置

王亮的博客

07-25

871

前期依赖，正常的集群，包括jdk、hadoop、spark. - 1.在etc/profile里面增加如下几段,有了的就不用重复了 ##hadoop export HADOOP_HOME=/soft/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin expor...

spark-3.1.3-bin-hadoop3.2.tgz

05-19

在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...

spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar

06-27

- 配置：根据环境修改conf目录下的配置文件，如`spark-defaults.conf`和`spark-env.sh`。 - 启动：启动Spark的Master和Worker节点，准备运行任务。 - 运行应用：使用Spark Shell或提交Spark应用程序到集群执行。 ...

spark资源 spark-2.3.2-bin-hadoop2.7 tgz文件

10-21

Hadoop通常被用作存储和处理大数据的基础设施，而Spark设计为能够利用Hadoop的HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）。这意味着Spark能够利用Hadoop的存储能力，并在...

YARN上Spark的资源分配配置

danpu0978的博客

04-24

869

在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。其中一些具有客户端工具的相应标志，例如spark-submit / spark-...

spark on yarn配置

eric_lee的专栏

01-02

2853

目录第1章概述... 2 1.1 目的.. 2 1.2 文档历史.. 2 1.3. 2 第2章安装... 2 2.1 准备工作.. 2 2.2 基础环境验证.. 2 2.3 配置.. 3 2.3.1 Spark集群master服务器.. 3

Spark 配置 YARN

H_L_4513196的博客

05-07

348

确保你已经安装并配置好了 Hadoop YARN 集群，同时安装了 Spark。Hadoop 和 Spark 的版本要相互兼容。通过以上步骤，你就能在 Spark 中成功配置 YARN 并运行 Spark 应用了。要是配置无误，这个示例应用会在 YARN 集群上运行并输出计算结果。替换成你实际的 Hadoop 配置目录。如果该文件不存在，可以复制。文件位于 Spark 的。在 Hadoop 的。

Spark配置—Yarn模式

Star-Technology

06-28

1550

Step 1：可以尝试先搭建HA模式，然后Yarn模式只是在这个基础上做了一些修改而已 http://blog.youkuaiyun.com/ymf827311945/article/details/73822832Step 2：在node11节点上执行命令:vi ~/.bash_profile source ~/.bash_profile添加如下属性：export HADOOP_INSTALL=

spark on yarn 配置

weixin_51683372的博客

12-20

746

spark on yarn 配置解压安装1.1解压Scala1.2解压Spark1.3配置环境变量1.4配置Spark1.4.1重命名1.4.2配置spark-env.sh1.4.3向yarn-site.xml添加配置1.5启动Hadoop1.5.1查看yarn web 解压安装 1.1解压Scala tar -zxvf scala-2.11.8.tgz -C /usr/project/ 1.2解压Spark tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /us

【Spark】on Yarn 模式安装配置

瘦熊的博客

06-12

8709

在安装spark前先安装scala 下载Scala 上传到/opt/modules/softwares目录并解压到/opt/modules目录下 root@master:/opt/softwares# ll total 745404 drwxr-xr-x 2 root root 4096 6月 12 17:08 ./ drwxr-xr-x 7 root root 4096 6...

YARN 模式的 Spark 安装配置

CcfXx2000的博客

03-08

604

在Linux中安装Spark后配置YARN模式

Spark on YARN部署模式保姆级教程

weixin_65875490的博客

01-10

2793

没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段可能更适合使用YARN-Client模式，而在生产环境中则常使用YARN-Cluster模式。在Spark中，根据运行模式的不同，有两种提交任务的方式：YARN-Client和YARN-Cluster。

Spark on YARN 部署搭建详细图文教程