CDH修改PySpark默认的Python版本

前言

PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google

操作步骤

• 安装Python3.X参考
• 配置全局变量

sudo vim /etc/profile
export PATH=/usr/bin/python3:$PATH
source /etc/profile

• 打开CDH Web配置spark-env.sh文件如下：
  
  即添加：

export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

• 重启CDH过时服务
  然后就就可以开心的玩耍咯
  
  参考