Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上

本文介绍了如何在Windows上配置Spark开发环境,包括安装Java、Scala、Hadoop,设置环境变量,解决Winutils问题,以及在PyCharm和Idea中创建Scala和Python工程,运行SparkPi示例。同时,提供了在PyCharm中运行PySpark的步骤,包括将pyspark目录复制到Python安装路径,配置项目环境,解决py4j依赖。此方法便于在本地调试Spark程序,待测试通过后再提交到Linux集群运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上

1、首先安装Java 、Scala,然后下载spark-2.1.0-bin-hadoop2.7.tar.gz和hadoop-2.7.3.tar.gz并解压
2、分别在环境变量中添加JAVA_HOME、HADOOP_HOME、SPARK_HOME(scala在安装时会自动配置环境变量,所以在此不用考虑),截图如下:
这里写图片描述
这里写图片描述
这里写图片描述

3、配置好环境变量以后,需要下载Hadoop的hadoop.dll和winutils.exe.zip(我这里以Hadoop 2.7.3为例)(参考链接:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值