spark搭建伪分布式环境

软件准备
• 一台Linux虚拟机
我用的CentOS-6.6的一个虚拟机，主机名为repo
参考在Windows中安装一台Linux虚拟机
• spark安装包
下载地址：https://mirrors.aliyun.com/apache/spark/
我用的spark-2.2.0-bin-hadoop2.7.tgz
要根据自己机器中的hadoop版本选择对应的spark版本

---

(1) 把安装包上传到服务器并解压

[root@repo soft]# tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/

# 解压后如果感觉安装目录的名称太长可以修改一下
[root@repo soft]# cd /opt
[root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

(2) 修改spark-env.sh配置文件

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh
[root@repo opt]# cd spark-2.2.0/conf/
[root@repo conf]# cp spark-env.sh.template spark-env.sh

# 修改spark-env.sh配置文件，添加如下内容
[root@repo conf]# vim spark-env.sh

# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上
# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配
export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/h