01环境准备

原创于 2019-10-24 19:46:24 发布 · 143 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

pySpark 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何在PyCharm中配置Spark开发环境，包括设置环境变量、添加库路径以及解决关键词缺失错误的过程。

1.创建一个pycharm项目，在里面创建py文件

2.然后在Run中选择“Edit Configurations”，选中Templates下面的python。

3.点击Environment variables空格后的小图标，

不要改变里面的PYTHONUNBUFFERED，

单击＋，name和value分别写入“PYTHONPATH”和“H:\spark-1.6.0-bin-hadoop2.4\python”，	
再次添加，name和value分别写入“SPARK_HOME”和“H:\spark-1.6.0-bin-hadoop2.4”。

4.选择File->setting->你的project->project structure，

右上角Add content root添加：
py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark\python\lib文件夹下)

5.over

完成

6.如果出现关键词缺失的错误

可能因为python版本为3.6或更高，
可按照https://blog.youkuaiyun.com/ExclusiveName/article/details/102654754更改。