Spark1.5.2安装--Spark学习（基础）

一直想学习着写博客做个备忘，但是一直懒也没有开始做，终于最近虚拟机的东西太多了想重新装一个虚拟机，由于自己是学数据挖掘的，就写一篇关于单机版spark的安装攻略来练练手。

安装包准备

spark原理什么的这里就不介绍了，有问题大家最好参考官方文档，网址为：http://spark.apache.org/。
本次安装主要用到的安装包如下：
1.spark-1.5.2-bin-hadoop2.6.tgz
2.hadoop-2.6.0.tar.gz
3.jdk-8u65-linux-x64.gz

一、Linux环境准备

1.给linux用户添加sudo权限

因为我安装过程中不会在root用户下安装，因此需要给自己的用户添加sudo权限。
（1）切换到root用户

su root

（2）给用户添加sudoers写权限

chmod u+w sudoers

（3）打开sudoers

vim /etc/sudoers

（4）添加权限

user     ALL=(ALL)       ALL 
//user替换为自己的linux用户

（5）修改sudoers权限

chmod u-w sudoers

2.网络配置修改

本步骤主要设置操作系统的网络连接以及hostname
（1）设置静态ip
由于在学校需要使用客户端上网，所以虚拟机用桥接方式无法连接外网，所以需要设置NAT模式静态IP。此处偷懒直接用linux网络设置快捷方法，不修改文件。

各项配置主要参考虚拟机设置配置
（2）修改hostname

sudo vim /etc/hosts

在hosts中添加 192.168.171.120 spark。ip根据自己设置的各不相同。
（3）重启网卡生效

sudo service network restart

终端中输入命令hostname查看是否修改正确，最好重启虚拟机。

二、安装配置

1.安装jdk

（1）直接解压gz文件

tar zxvf jdk-8u65-linux-x64.gz 
sudo mv jdk1.8.0_65/ /opt

（2）修改jdk环境变量

sudo vim /etc/profile

在profile末尾添加如下配置

export JAVA_HOME=/opt/jdk1.8.0_65
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source profile文件

source /etc/profile

查看环境变量是否已设好,如果出现对应版本即jdk环境变量设置完毕

java -version