Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run wi

itw_wang

于 2018-11-13 00:18:25 发布

阅读量6.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python spark pyspark 算法文章标签： python spark pyspark

本文链接：https://blog.youkuaiyun.com/weixin_40136018/article/details/84001276

2 篇文章

订阅专栏

2 篇文章

订阅专栏

2 篇文章

订阅专栏

本文详细介绍了如何解决PySpark环境中出现的错误，主要通过两种方法修改环境变量：一是在Python代码中导入os模块并设置环境变量；二是针对虚拟环境或Anaconda环境，通过编辑.bash_profile文件来设置正确的Python解释器路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import os

PYSPARK_PYTHON = /home/piting/ENV/anaconda3/bin/python
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON

原因：这种情况不能直接设置export PYSPARK_PYTHON=python3，这样可能直接指向的是系统全局的设置，而不是当前用户的。

步骤：1.vim .bash_profile 用vi编辑器打开，然后添加export PYSPARK_PYTHON=python3。如下图

2.使修改的环境变量立即生效： source .bash_profile