2020-11-19

Anaconda3的python3环境下使用pyspark报错问题解决

问题描述

系统默认安装是python2，安装的hadoop相关的python可执行脚本也是python2版本的。

在这种情况下，直接运行pyspark可以正常进入shell。

但如果anaconda3的多环境使用了python3，直接运行pyspark会报错：

File "/usr/bin/hdp-select" ...

解决办法

修改以下两个文件的运行环境，

/etc/hadoop/conf/topology_script.py

/usr/bin/hdp-select

即vi，将第一行代码修改为：/usr/bin/python (这个是默认的python2的执行文件）。

再运行pyspark。