centos7安装spark

spark的安装

写在之前

安装spark的机器已经安装好jdk和hadoop

spark下载

这里推荐清华大学开源镜像站

选择合适的版本进行下载

上传需要安装的机器

解压

tar -xvf 文件

改名

mv 文件 spark

配置环境变量

vim ~/.bash_profile

添加如下

#spark

export SPARK_HOME=spark解压安装路径

export PATH=$PATH:$SPARK_HOME/bin

使环境生效

source ~/.bash_profile

修改配置文件

复制配置文件

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

添加如下

#将hadoop的类路径交给SPARK_DIST_CLASSPATH

export SPARK_DIST_CLASSPATH=$(/home/software/hadoop/bin/hadoop classpath)

export HADOOP_CONF_DIR=/home/software/hadoop/etc/hadoop

启动

进入spark安装目录下的sbin

.start-master.sh

查看

jps

访问web管理页面

http://主机:8080