Why does pyspark throws cannot run program "python3"?
当运行pyspark程序遇到如下问题时,
Caused by: java.io.IOException: Cannot run program "python3": CreateProcess error=2
----------------------
Run before SparkSession/SparkContext:
import os
import sys
os.environ['PYSPARK_PYTHON'] = sys.executable
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable
然后 spark = SparkSession.builder.appName('有人application name ***').getOrCreate()
还有另外一种方法,可以一劳永逸解决(推荐使用):
在系统变量中加入如下配置:
PYSPARK_PYTHON=python
PYSPARK_DRIVER_PYTHON=python

然后重启IDE,就可以了
文章讲述了在使用Pyspark时遇到的启动问题,原因在于创建Python3进程失败。提供了两种方法:一是临时设置环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON为当前Python解释器;二是永久性地将这些变量添加到系统环境变量中并重启IDE。

被折叠的 条评论
为什么被折叠?



