本文介绍了如何在Windows上配置Spark开发环境，包括安装Java、Scala、Hadoop，设置环境变量，解决Winutils问题，以及在PyCharm和Idea中创建Scala和Python工程，运行SparkPi示例。同时，提供了在PyCharm中运行PySpark的步骤，包括将pyspark目录复制到Python安装路径，配置项目环境，解决py4j依赖。此方法便于在本地调试Spark程序，待测试通过后再提交到Linux集群运行。
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序，测试通过后再提交到Linux集群上
1、首先安装Java 、Scala，然后下载spark-2.1.0-bin-hadoop2.7.tar.gz和hadoop-2.7.3.tar.gz并解压
2、分别在环境变量中添加JAVA_HOME、HADOOP_HOME、SPARK_HOME（scala在安装时会自动配置环境变量，所以在此不用考虑），截图如下：
3、配置好环境变量以后，需要下载Hadoop的hadoop.dll和winutils.exe.zip（我这里以Hadoop 2.7.3为例）（参考链接：
最低0.47元/天 解锁文章
扫一扫
1114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
