windows 10平台pycharm搭建pyspark

动机

我们都是python程序可以提交到spark平台上进行分布式计算，所以需求就来了，如何搭建一个pyspark环境，如果没有搭建成功可能会报各种各样的错误.，当自己写的pyspark程序明明没有错误还是会报错的话（初次使用的时候，我就是利用pycharm跑了一个spark官网上的python wordCount示例报错了），那么请检查一下自己的pyspark环境有没有搭建好

准备

• spark （这里我用的spark2.1-hadoop2.6）
• pycharm （这个区idea官网上下载）
• python （这里我用的python3.5）

第一步：安装pycharm

没啥好说的，自己找一个路径，安装即可

第二步：安装python

安装的时候注意一下安装的路径，我自定义在我的C:\application\python文件夹里面，安装完毕之后要配置一下环境变量

在里面先新建一个点击下方的新建按钮，弹出对话框，第一行起个名字，第二行写上python的路径

然后打开win+R 打开cmd，输入python看看是否有反应，没有反应的话，在path变量中增加相关的路径。