spark-2.4 安装教程

 

spark 安装教程spark 是基于hadoop和scala，所以首先需要安装hadoop和scala。
1.安装scala
scala下载网址：https://www.scala-lang.org/download/ 
下载 scala-2.13.0.tgz
安装步骤如下：
cd /usr/local/wutongyu/AIOps
#解压
tar -zxvf scala-2.13.0.tgz 
#将解压文件移动到如下目录
/usr/local/wutongyu/AIOps/scala/
# 编辑profile，在最后 添加scala路径
vim  /etc/profile
export PATH="$PATH:/usr/local/wutongyu/AIOps/scala/bin"
#及时生效
source /etc/profile
#检查是否安装成功
scala
​
2.安装hadoop
hadoop下载网址： https://archive.apache.org/dist/hadoop/common/ 
下载 hadoop-3.1.2.tar.gz
安装步骤如下：
cd /usr/local/wutongyu/AIOps
#解压
tar -zxvf hadoop-3.1.2.tar.gz
#将解压文件移动到如下目录
/usr/local/wutongyu/AIOps/hadoop/
#配置JAVA环境变量，jdk安装省略
vim /etc/profile
#在文件最后配置如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
#及时生效
source /etc/profile
#检查版本信息
./bin/hadoop version
​
3.安装spark
spark下载地址：http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
安装步骤如下：
cd /usr/local/wutongyu/AIOps
#解压
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz 
#将解压文件移动到如下目录
/usr/local/wutongyu/AIOps/spark/
#配置conf/spark-env.sh 文件，拷贝模板文件
cp spark-env.sh.template spark-env.sh
#在spark-env.sh文件增加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_131 #Java环境变量
export SCALA_HOME=/usr/local/wutongyu/AIOps/scala
export SPARK_WORKING_MEMORY=521m #每一个worker节点上可用的最大内存
export SPARK_MASTER_IP=192.168.0.118 #驱动器节点IP
export HADOOP_HOME=/usr/local/wutongyu/AIOps/hadoop #Hadoop路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录
#配置spark环境变量
vim /etc/profile
export SPARK_HOME=/usr/local/wutongyu/AIOps/spark
export PATH=$PATH:$SPARK_HOME/bin
#及时生效
source /etc/profile
#检查安装情况
jps