pyspark demo程序创建spark上下文 ,可是还是出错,完整报错如下:
sc = SparkContext(“local”, “Partition ID Example”) File
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py”,
line 133, in init SparkContext._ensure_initialized(self,
gateway=gateway, conf=conf) File
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py”,
line 316, in _ensure_initialized SparkContext._gateway = gateway or
launch_gateway(conf) File
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\java_gateway.py”,
line 46, in launch_gateway return _launch_gateway(conf) File
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\java_gateway.py”,
line 101, in _launch_gateway proc = Popen(command, stdin=PIPE,
env=env) File
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess.py”, line 729,
in init restore_signals, start_new_session) File
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess.py”, line 1017,
in _execute_child startupinfo) FileNotFoundError: [WinError 2]
系统找不到指定的文件。
环境:python3.6+pyspark==2.4.5
使用的是anaconda创建出的环境。
解决方案:将anaconda的安装路径放系统环境变量PATH中。
现象:在conda命令行窗口conda activate环境后,cd到py文件所在目录,执行python .py可以正常运行,而且到pyspark所在包bin下执行pyspark.cmd 正常。 可在pycharm中执行却报如上错,那只能说明两个环境不一致,尝试了上述解决方案后成功。
文章讲述了用户在使用Python3.6和pyspark2.4.5环境中遇到SparkContext初始化错误的问题,问题出在anaconda环境和PyCharm环境不一致。解决方案是将Anaconda安装路径添加到系统环境变量PATH中,确保两个环境下的pyspark命令都能正确执行。
19万+

被折叠的 条评论
为什么被折叠?



