ubuntu16.04 安装单机版spark

1 环境变量

spark-2.3.0-bin-hadoop2.7这是我的spark文件夹，这里替换成你的spark文件夹。

同样，jdk1.8.0_172是我的jdk文件夹，你需要替换成你的。

usr/路径下没有java文件夹，你需要新建一个文件夹，mkdir /usr/java

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:SPARK_HOME/bin

export JAVA_HOME=/usr/java/jdk1.8.0_172
export JRE_HOME=/usr/java/jdk1.8.0_172/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

前两行是加spark的环境变量，后四行是加java的环境变量。

把上面的环境变量加入 /etc/profile，

管理员权限下，输入gedit /etc/profile,会弹出一个文件，粘贴在后面就行了。

然后执行命令 source /etc/profile，环境变量会立即生效。如果不重启不会生效的。

然后，输入java -version,会出现java的版本。

2 输入java -version没有出来版本号

但是，我的死活不出来，我以为是环境变量没有设置好，于是又搜了一大堆资料，还是不行。

花了好长时间，都快气死我了。

最后还把系统给搞崩了，就是linux系统频繁输入密码，就是进不了桌面。最后按crtl + alt + f1 进入root账号，把环境变量全删除才恢复正常。

如果输入java -version没反应，需要换个环境变量文件。

于是换了~/.bashrc就ok了。

同样的操作，gedit ~/.bashrc 粘上环境变量，然后source ~/.bashrc执行。

但我没搞清楚为什么。有人说：

/etc/profile 是系统全局环境变量设定
~/.bashrc用户家目录下的私有环境变量设定

这是我走的一条弯路，希望帮助需要的人。

3 python Spark kernel notebook

如果ubuntu16.04不能正常安装包，用pip install --user keras

pip install --user toree

jupyter toree install--spark_home=your-spark-home12