windows pycharm导入本地pyspark包

背景：

用pycharm建立pyspark应用程序时，需要先下载安装pyspark包，一般网络好时可以用File-->Settings-->Project:xxx-->Project Interpreter-->点击“+”-->搜索pyspark-->Install Package来安装pyspark

但是，为了让网络不好的同学也能愉快的体验pyspark编程的乐趣，特别写这篇博客

 

步骤：

1.下载spark安装包到windows

下载地址：http://archive.apache.org/dist/spark/spark-2.3.2/

解压安装包

 

进入pyspark包所在路径：spark-2.3.2-bin-hadoop2.7\python\lib

或者网盘下载：pyspark依赖包下载  提取码：m3t0

 

2.pycharm 新建python工程

File-->New Project-->Pure Python-->选择对应的目录及工程名，这里工程名为pyspark-test-->Create

右键工程pyspark-test-->New-->Python File

填写文件名为demo-->点击OK，这样新建出了demo.py

编辑demo.py，内容如下

from pyspark import SparkContext

sc = SparkContext()
data = [1, 2, 3, 4, 5]
# 根据已存在的集合创建RDD
rdd = sc.parallelize(data)
# 收集并打印RDD内容
print(rdd.collect())

还有箭头指出的报错，因为缺少pyspark包

 

下面一步是重点，添加第一步下载的两个zip包

3.添加本地pyspark zip包

File-->Settings-->Project:xxx-->Project Structure-->点击“+”-->找到zip包的位置-->按ctrl键选中两个zip包-->OK-->OK

添加zip包后，在pyspark-test下能看到添加的zip包，同时代码中的报错消失了

 

4.运行程序

在运行之前，需要先设置SPARK_HOME，设置方法为：Run-->Edit Configurations-->demo(要运行的文件名)-->点击Environment variables右侧的文件夹-->点击“+”-->Name填写：SPARK_HOME --> Value填写spark安装包解压后的目录，这里是D:\soft\spark\spark-2.3.2-bin-hadoop2.7-->OK-->OK

 

查看运行结果

 

完成！ enjoy it!