spark与python3的应用

先按照spark和Python3

export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7

export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin

解压完spark后需要配置环境变量,和hadoop配置是一样的请看本人上一篇bolg.

配置好环境变量后我刷新一下路径的存储文件

source ~/.bashrc

然后执行spark-shell命令测试spark是否成功安装:

这里我们看到了spark的版本2.2.1   scala是一门编程语言,spark默认的编程语言,当然我们要在python中启动spark也是可以的.

Python3的安装

一直按照提示确认,

当到达这一步时

但你输入完yes的时候回提示

它的意思是>>>>

Anaconda3将被安装到这个位置:

/home/hadoop/anaconda3

-按回车键确认位置。

-按CTRL-C中止安装。

-或指定下面的不同位置。

如果你不想安装在默认的路径,你只要在后面写上路径后确认,我这里是直接默认的路径,直接回车.等待

这是默认给你配置好环境变量直接yes就OK

你是否希望继续安装微软VSCode?(是的|不)

这个问题一直都困扰我的,之前就因为这个导致我装了大半天,但是有的Anaconda3它不会出现这提示

出现这个你选择no,不然你是永远也装不成功的,如果你不小心写了yes, 那你只能把你刚刚的那个安装的包直接删除了在重新安装一下,

测试一下确认是Python3,我这里的是3.6.4版本的

下面我们在Python中启动spark执行下面的代码>>>>

这是抛出的异常>>>>>

 

这是启动了个spark导致的异常,我们学要关闭一个进程来解决这个问题

-9 , -KILL 发送 kill 信号退出 

再去执行代码启动spark>>>>>>

spark启动成功了!