Pycharm+Spark开发配置

1.安装py4j:  pip install py4j。

2.python安装目录下site-packages下新建pyspark.pth文件，内容为：

C:\spark-1.6.2-bin-hadoop2.6\python\。

3.配置环境变量：SPARK_HOME，值为“C:\spark-1.6.2-bin-hadoop2.6”。

重新打开PyCharm。

既能运行Spark程序，又能解决python程序中“from pyspark import SparkContext”显示为找不到包的问题。

from pyspark import SparkContext

sc = SparkContext("local", "Test")

d = sc.textFile("E:\\a.txt").cache()
print d.count()
sc.stop()