设置pyspark 启动时所使用的python版本

以下操作均为使用非root用户进行。

vim ~/.bashrc

在文件中添加：

 

export PYSPARK_PYTHON=/usr/local/bin/python3

指定pyspark启动时使用的python版本，

---

 

#export PYSPARK_DRIVER_PYTHON=ipython3

指定启动pyspark后的交互式界面，使用ipython3作为默认启动交互界面

 

---

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

unset XDG_RUNTIME_DIR

指定启动pyspark后的交互式界面，使用jupyter作为默认启动的交互界面，指定ip 和port 可以让同网段的设备访问jupyter 进行pyspark 操作

 

---

 

source ~/.bashrc

加载配置生效

 

 注意：

在修改交互式界面的时候。如果以前有设置了PYSPARK_DRIVER_PYTHON_OPTS

新修改的PYSPARK_DRIVER_PYTHON 如果没有设置PYSPARK_DRIVER_PYTHON_OPTS  即使注释掉，可能还是会使用上一次的设置。最好覆盖一下。

转载于:https://www.cnblogs.com/Ray-Lei/p/9808903.html