windows下安装spark

最新推荐文章于 2025-04-08 00:15:09 发布
最新推荐文章于 2025-04-08 00:15:09 发布
阅读量1.2k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44077239/article/details/109449088
版权

windows下安装spark

windows下安装spark

1、安装jdk

在这里插入图片描述

2、安装scala（注意版本）

在这里插入图片描述

3、下载spark

下载地址
在这里插入图片描述
在这里插入图片描述

  • 将下载的文件解压到一个目录，注意目录不能有空格，比如说不能解压到C:\Program Files（x86）
  • 编辑Path环境变量添加路径
    在这里插入图片描述

4、安装hadoop

下载地址

  • 点击binary下载2.9.2版本
    在这里插入图片描述
  • 解压后配置系统变量
    在这里插入图片描述

在Path添加
在这里插入图片描述

  • 可能会疑惑为什么spark对应的hadoop是2.7但是我安装的是2.9.2，因为我能下到的只有2.9.2，但是实测也能用

5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）

下载地址

下载对应版本
在这里插入图片描述
接下来将bin替换原来Hadoop中的bin

6、运行spark-shell

在这里插入图片描述

Niceeee996
关注
windonws下spark的安装(最新安装)
m0_57382185的博客
10-30 6208
spark超详细安装步骤 （1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略； （2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
windows下搭建spark开发环境
queen123444的博客
12-24 2060
windows下spark开发环境搭建
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Windows下安装Spark教程
最新发布
qq_46394486的博客
04-08 439
官网下载地址：https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz。网盘下载地址：https://pan.baidu.com/s/1VyVLwnSvdMzSocj37xlErQ?历史版本仓库：https://archive.apache.org/dist/spark/本地解压spark文件，目录为 D:\bigdata\spark\2.4.7\。为了验证Spark是否安装成功，开启一个新的cmd窗口。
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 4284
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
windows中安装Spark
蓝色格子ren的博客
07-27 6341
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
windows下安装spark和anaconda
04-01
在 Windows 环境下，可以下载并安装最新版的 Anaconda3 工具。如果未自动配置环境变量，则需手动将 Anaconda 路径及其子目录添加至系统的 `Path` 变量中[^1]。 以下是具体的路径设置方式（假设 Anaconda 安装路径为...
Windows下安装spark+Hadoop
wenyusuran的专栏
08-08 5716
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？ 了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。 首先的...
spark在windows安装
YouAreLion的博客
12-28 2867
spark在windows安装
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.youkuaiyun.com/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
Windows安装Spark 需要用到的包
07-02
直接解压 把bin目录内容拷贝到Hadoop的bin目录下 全部替换覆盖就行了
Windows环境下安装Spark并运行WordCount例子
actionbean的博客
11-09 8869
Windows环境下安装Spark并运行WordCount例子一、Windows下安装Spark1、提前安装Java JDK2、提前安装Scala3、安装Spark4、安装Hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell二、运行WordCount例子1、新建Project2、新建Scala Class3、导入Spark程序依赖的jar包4、编写WordCount代码 一、Windows下安装Sp
在Windows上的安装 Spark
lengyudexin的博客
12-28 2048
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
Windows下单机安装Spark开发环境
tianyeshiye
02-08 327
机器：windows 10 64位。Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.8，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.8”，视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.8\bin和C:\Program Files\...
spark踩坑记——windows环境下spark安装和运行
2201_76100933的博客
06-03 1396
spark踩坑记——windows环境下spark安装和运行
windows安装spark
weixin_41046245的博客
06-18 738
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值