环境为Ubuntu、jdk8、spark-2.4.5-bin-hadoop2.7,python3.8.2
1、原因
由于spark还不支持python3.8
2、解决方法
所以将python降级即可,我降级到python3.6.9成功
注意:要配置默认的python为python3.6.9,方法如下
删除原有的python软链接 :
rm /usr/bin/python
建立python到python3.6新的软链接:
ln -s /usr/bin/python3.6 /usr/bin/python
最后赖得找命令,重启电脑让上面软链接生效得。
效果:

3、pyspark运行效果
