windows下spark环境搭建

本文详细介绍了在Windows系统中搭建Spark环境的步骤,包括下载scala-2.11.11、hadoop2.7和spark-2.3.1等软件,安装scala,配置spark和hadoop环境变量,以及解决winutils.exe的问题。最后通过在IDEA中运行代码验证配置成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、首先下载所需要的安装包

分别是 scala-2.11.11 ,hadoop2.7,spark-2.3.1、winutls工具类

链接:https://pan.baidu.com/s/1Tv-N7lQUd2T24HncwSZ5Ag 密码:z9ex

2、先安装scala

 

直接运行安装包即可,自动配置环境变量

3、配置spark

直接解压即可

配置spark环境变量

在path下配置D:\DTEve\spark\spark-2.3.1-bin-hadoop2.7\bin

这里是我的目录,改成自己spark解压的地址即可

然后可以直接测试一下打开cmd 输入 spark-shell测试一下

如果报错了没关系,只要不是命令找不到就行

4、配置hadoop-2.7

跟spark一样,直接解压出来即可

然后配置环境变量

先新建一个HADOOP_HOME

然后配置目录路径

再在path下配置D:\DTEve\hadoop\hadoop-2.7.3\bin

5、再将winutils打开,找到对应的hadoop版本

这里只需要找到2.7.1

再找到hadoop-2.7.1/bin目录下的winutils.exe将他copy到你的hadoop/bin下

6、到现在就配置完毕了,然后可以打开idea测试一下(如果你之前启动了idea请重启)

写段代码测试下

直接运行使用了spark环境 的 代码

然后报错。

解决方法:

 

设置VM options项为-Dspark.master=local.

-Dspark.master=local:表示设置我的spark程序以local模式运行.

 

在测试一下

成功配置了windows下spark环境!

版权声明:本文为博主原创文章,转载时请务必注明本文地址, 禁止用于任何商业用途, 否则会用法律维权。 https://blog.youkuaiyun.com/qq_40807739/article/details/81156058

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值