win7 安装spark环境

最新推荐文章于 2025-04-21 11:27:07 发布
原创 最新推荐文章于 2025-04-21 11:27:07 发布 · 547 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#win7配置spark

本文详细介绍如何在本地环境中正确安装和配置Spark，包括JDK、Scala、Spark和Hadoop的安装及环境变量设置，解决常见问题如winutils缺失，并提供启动Spark交互环境的步骤。

前提条件：

jdk：java -version

scala：scala

java-1.8   scala-2.11 安装好并且配置好环境变量

官网下载spark版本

对应的hadoop下载解压

解压后启动进入spark-shell交互环境

出现找不到winutils

去https://github.com/steveloughran/winutils

下载将winutils替换到hadoop 安装目录的bin下面重新启动spark就ok

进入http://localhost:4040/jobs/就可以看到spark启动成功

 

 

以上前提条件是jdk、scala、spark、hadoop安装好、配置好环境变量并且版本要匹配。

 

参考博客：

https://blog.youkuaiyun.com/songhaifengshuaige/article/details/79480491

 

https://www.jianshu.com/p/c5190d4e8aaa

windows配置spark开发环境
chaney的博客
04-15 3288
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子
mark_to_win的专栏
06-01 357
Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子马克-to-win @ 马克java社区：在eclipse oxygen上创建一个普通的java项目，然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。只要启动start-dfs,下面的程序就可以运行了。package com;import ...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.youkuaiyun.com/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
win10 下spark2.2.0+hadoop2.7.7+winutis 1
03-26
win10下 python+spark开发环境配置教程https://blog.youkuaiyun.com/qq_33283652/article/details/88790390
Win7下安装Spark
xiaomin1991222的专栏
10-15 245
1、下载spark解压到D盘，现在的版本是1.2.1 2、下载scala安装到d:\ProgramFiles(x86)\scala\ 安装好scala后需要配置环境变量 修改path这个变量，把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止） 测试是否配置成功，在命令行中输入...
win7下安装配置spark
evolone的专栏
07-17 3406
1.spark运行在JVM下。（1）首先，安装JVM。下载JDK，地址链接： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。（2）修改环境变量。参考教程： http://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.ht
WIN10安装spark
05-25
1. 安装 Java：Spark 运行需要 Java 环境，你需要先安装 Java。你可以从 Oracle 官网下载并安装最新版本的 Java。 2. 下载 Spark：你可以从 Apache Spark 的官网下载最新版本的 Spark。选择一个你需要的版本并下载...
Spark环境搭建流程
最新发布
qq_57174393的博客
04-21 1899
spark安装测试
IntelliJ IDEA Win7环境下搭建Spark开发环境详解
本文档详细介绍了如何在Windows 7环境下利用IntelliJ IDEA搭建Spark开发环境的过程。以下是关键步骤和配置： 1. 环境准备 - 操作系统：Windows 7 - Java Development Kit (JDK): JDK 1.8.0_91，推荐安装JDK 6及...
Windows系统下的Spark环境配置
eeee~~的博客
09-04 2383
在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。
Win7下安装Spark（转载）
a4990374的博客
03-10 178
1、下载spark解压到D盘，现在的版本是1.2.1 2、下载scala安装到d:\ProgramFiles(x86)\scala\ 安装好scala后需要配置环境变量 修改path这个变量，把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止...
apache spark在windows7 下安装
大数据食铁兽的专栏
04-25 1万+
1、下载spark  解压到 D盘，现在的版本是0.9.1 2、下载scala   安装到d:\Program Files (x86)\scala\     安装好scala后需要配置环境变量    修改path这个变量，把Scala的bin目录也放进去D:\Program Files (x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止）
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Windows 安装Spark 环境
BoomLee的博客
04-01 534
1.下载地址 http://spark.apache.org/downloads.html 2.配置环境 解压到指定目录 添加环境变量 SPARK_HOME 内容为解压的目录 C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\ Path 里 添加 %SPARK_HOME%\bin;%SPARK_HOME%\sbin 验证...
Win7 单机Spark和PySpark安装
weixin_34245169的博客
09-10 141
Win7 单机Spark和PySpark安装 欢呼一下先。软件环境菜鸟的我终于把单机Spark 和 Pyspark 安装成功了。加油加油！！！ 1. 安装方法参考： 已安装Pycharm 和 Intellij IDEA。 win7 PySpark 安装： http://blog.youkuaiyun.com/a819825294/article/d...
windows下安装spark运行环境
ambitionless的专栏
04-03 527
scala运行环境安装 jdk安装 jdk安装1.8，详细安装过程省略，路径最好不带空格，不然会导致后面hadoop安装失败 scala安装 安装scala2.11（2.12spark包maven仓库中找不到） hadoop安装 github地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/b...
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 4442
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
在windows 7中安装部署spark(python版)
LiuQQu的专栏
11-08 749
一、搭建的环境 windows7 spark-2.3.2 python-3.6.5 Java8 二、安装部署 1、安装Java/Jdk 下载jdk-8u152-windows-x64.exe，根据安装指南进行安装，配置环境变量JAVA_HOME，在Path中添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin，在CLASSPATH中添加%JAVA_HOME%\l...
在win7上安装spark实践
weixin_40074627的博客
08-16 749
一、搭建的环境 windows7 spark-2.4.3 python-3.6.5 Java8 二、安装部署 1、安装Java/Jdk下载jdk-8u152-windows-x64.exe，根据安装指南进行安装，配置环境变量JAVA_HOME，在Path中添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin，在CLASSPATH中添加%JAVA_HOME%\lib...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值