spark2.4 on yarn安装

最新推荐文章于 2025-06-02 11:26:40 发布

原创最新推荐文章于 2025-06-02 11:26:40 发布 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

14 篇文章

订阅专栏

本文详细介绍了如何在Linux环境下安装配置Scala 2.11和Spark，包括环境变量设置、依赖软件安装、配置文件编辑等步骤，特别指出Java版本需求及常见问题解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、安装scala2.11

注意官网的这句话：Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

也就是说spark2.0之后只支持scala2.11，如果使用2.10需要使用spark源码自行编译。

另外，官网要求java1.8，我的是1.7版本，安装了就悲剧了，重新换java。

关于java这块，还要强调一下，Linux自带的openJDK要先删除再安装，不然可能各种报错还找不到原因。

1.下载

wget --no-check-certificate https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz

2.解压

tar -xvzf scala-2.11.4.tgz

3.添加环境变量

vim ~/.bashrc

添加 export SCALA_HOME=/usr/local/src/scala

source ~/.bashrc

4.测试

输入scala -version

二、安装spark

1.下载解压添加环境变量（过程同上，略）

2.配置conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

末尾添加

export JAVA_HOME=/usr/local/src/jdk1.7.0_80   #Java环境变量
export SCALA_HOME=/usr/local/src/scala #SCALA环境变量
export SPARK_WORKING_MEMORY=1g  #每一个worker节点上可用的最大内存
export SPARK_MASTER_IP=master   #驱动器节点IP
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1  #Hadoop路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录
export SPARK_CLASSPATH=/usr/local/src/spark/libext #把MySQL驱动jar包放里面
export SPARK_WORKER_CORES=2             #每个节点多少核
export SPARK_WORKER_INSTANCES=1                   #每台机器上开启的worker节点的数目

cp slaves.template slaves

把localhost注释掉，末尾添加

slave1
slave2

3.验证

输入spark-shell