spark on yarn模式安装部署

最新推荐文章于 2025-05-23 19:11:05 发布

原创

最新推荐文章于 2025-05-23 19:11:05 发布 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文档详细介绍了如何在已部署的Hadoop2.7.2环境中安装和配置Spark，包括修改yarn-site.xml和spark-env.sh文件，设置YARN和HADOOP配置目录，通过scp分发配置文件到所有节点，并启动Spark，最后演示了如何在YARN模式下提交Spark Pi示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置spark之前，请自行部署Hadoop2.7.2，JDK1.8，ssh免密码登录等准备工作。
1）修改hadoop配置文件yarn-site.xml,添加如下内容：
[root@mzz11 opt]$ vi yarn-site.xml

    <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
    </property>
   
    <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
    </property>

2）修改spark-env.sh，添加如下配置：
[root@mzz11 conf]$ vi spark-env.sh

YARN_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop
HADOOP_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop
3）分发配置文件
[root@mzz11 opt]$ scp /opt/hadoop-2.7.2/etc/hadoop/yarn-site.xml 192.168.0.12:/opt/hadoop-2.7.2/etc/hadoop/
[root@mzz11 opt]$ scp /opt/hadoop-2.7.2/etc/hadoop/yarn-site.xml 192.168.0.13:/opt/hadoo