Win 10 安装Spark

最新推荐文章于 2023-08-02 00:01:28 发布
原创 最新推荐文章于 2023-08-02 00:01:28 发布 · 517 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hadoop

本文详细指导了如何配置Java 1.8，避免空格；安装Hadoop并将其工具放入系统和bin目录；以及Spark的下载和环境变量设置，包括可能遇到的问题及解决方案。
  1. 配置Jdk
    安装java1.8
    配置路径
    CLASSPATH
    .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
    在这里插入图片描述

JAVA_HOME
D:\java\jdk1.8.0_181
这个路径中一定不要包含空格
在这里插入图片描述

Path
%JAVA_HOME%\bin
在这里插入图片描述
2. 配置Hadoop
下载版本
https://download.youkuaiyun.com/download/hljczm/85293508
将包中的文件winutils.exe和hadoop.dll放到以下两个目录下
C:\Windows\System32
D:\work\tools\hadoop-2.7.7\bin —为你解压后的bin目录

配置环境变量
HADOOP_HOME
D:\work\tools\hadoop-2.7.7
在这里插入图片描述
配置path
包括bin和sbin
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d4b76c73bc42ae9aa23881e798973fda.png在这里插入图片描述

  1. 配置Spark
    下载版本
    https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3-bin-hadoop2.7.tgz

配置环境变量
在这里插入图片描述在这里插入图片描述
可能会出现的问题
1、null\bin\winutils.exe
把包中对应的文件放到系统目录中，以及hadoop的bin目录下
在这里插入图片描述

2、版本不一致导致的问题，使用文档中的对应的版本，就不会出现该问题
在这里插入图片描述

andy.cao
关注
Win10下安装Spark（Python+Local版+非虚拟机版）
PyQuant
03-26 1381
由于大部分学生用的都是windows系统，而且博主也是windows系统，所以想在win10上安装Spark学习大数据分析，于是开始搜索相关的文章，通过亲自挖坑Spark学习发现大多博文都比较混乱（但是自己却学会了相关很多知识），结合实际情况博主认为大家有一下四类需求（因为博主比较熟悉Python，所以只分析Python语言版，至于Scala语言版可以查询相关文献资料）： （1）Win10下安装Spark（Python+Local版+非虚拟机版）：Local版即单机版，也就是说用户无需集群版（事实上，仅仅做
基础架构系列篇-基于win10安装SPARK3与HADOOP环境
hudongdong2020的博客
02-20 701
基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0) 目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看 1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz) 地址: http://spark.apache.org/downloads.html https://dow
win10简单安装spark
爱听许嵩歌的博客
07-21 6239
win10安装spark 安装步骤分为java, hadoop, scala和 spark四步。 一、Java环境搭建 首先从网站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。 右键我的电脑—属性—-高级系统设置就会看到下面的界面： 新建JAVA_HOME环境变量，变量值为jdk的安装目
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
window10 安装spark
恨_别离的博客
05-29 406
要安装spark需要先安装java、scala、hadoop、之后才能安装spark 下载spark文件：spark-2.4.5-bin-hadoop2.7.tgz 然后解压 配置环境变量：SPARK_HOME 配置path 然后cmd打开执行spark-shell可以验证是否成功 ...
Windows10安装spark（包括hadoop安装）
小白白的博客
11-24 3344
（作者：陈玓玏） 环境安装 命令行中输入java –version，看是否能正确输出版本信息，不能则需要安装，可以自己搜索一下Windows下java环境的安装。 Scala安装 下载地址：http://www.scala-lang.org/download/2.11.8.html 下载安装后配置路径，在环境变量的系统变量path中添加以下链接： 在命令行输入scala，能够输出版本信息即安装...
win10安装spark
最新发布
05-28
4. 启动Spark，通过运行spark-shell或spark-submit命令来验证Spark是否正确安装。 5. 如果你想在Windows上使用Hadoop分布式文件系统(HDFS)或YARN资源管理器，你还需要安装Hadoop并配置相关环境变量。
WIN10安装spark
05-25
安装 Spark 需要以下步骤： 1. 安装 Java：Spark 运行需要 Java 环境，你需要先安装 Java。你可以从 Oracle 官网下载并安装最新版本的 Java。 2. 下载 Spark：你可以从 Apache Spark 的官网下载最新版本的 Spark。...
win10安装spark流程
NJYR21的博客
05-12 4945
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
win10安装spark报错
03-04
您好，关于win10安装spark报错的问题，可能是由于环境变量配置不正确或者缺少必要的依赖库等原因导致的。您可以尝试重新配置环境变量，或者安装缺少的依赖库，或者查看报错信息进行排查。如果需要更具体的帮助，可以...
window10搭建pyspark（基于spark-3.0.0-bin-hadoop2）.docx
09-04
window10搭建pyspark的两种方法（基于spark-3.0.0-bin-hadoop2） 方法一： 最最简便的方法就是直接pip install pyspark 如果安装出现timeout，可以下载pyspark-3.0.0.tar，然后离线安装 方法：cd进入pyspark-3.0.0.tar解压的目录，里面有个setup.py 然后运行命令：python setup.py install, 等待安装完成，所以的环境问题都一次帮你解决完。
spark-2.3.1-bin-hadoop2.7.rar
05-06
免费提供spark-2.3.1版本安装文件，免安装，解压后放到想要安装的目录下，配置下环境变量即可。
Win10下安装spark（本地模式)_windows
wj1298250240的博客
10-19 3162
Win10下安装spark（本地模式） 相关软件及环境准备： win10 需要提前安装anaconda java 环境：JDK1.8 版本 hadoop运行在windows环境的插件： hadoop-2.7.1（winutils-master） spark包：spark-2.4.4-bin-hadoop2.7 使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始...
windows10环境安装spark-3.0.3-bin-hadoop2.7
TF666666的博客
09-01 9806
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题） 前言 星光不问赶路人，时光不负有心人。 刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改 一、spark安装需要安装的相关的？ 1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291 2.下载Hadoop_2.7.1 3.下载下载hadooponwindows
Spark Windows10 安装
BlueProtocolBlog
12-07 2177
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
Spark 安装与卸载 (windows 10)
人month神话
05-10 9608
文章目录先决条件系统要求安装步骤Java安装步骤：（已安装可跳过）测试Java安装：（已安装可跳过）测试安装结果：从Windows 10系统中卸载Spark：删除系统/用户变量步骤： Apache Spark是一个快速通用的集群计算系统。它提供了Java、Scala、Python和R语言的高级API，拥有优化了的通用图计算引擎。它还拥有丰富的其他高级工具，如：用于SQL和结构化数据处理的Spark SQL 、用于机器学习的MLlib、用于图计算的GraphX、以及用于流式批处理的Spark Streamin
win10搭建spark3.1环境（超详细）
qq_42364307的博客
10-18 6981
spark安装详解
window10安装spark
GGBond的博客
08-12 2935
1.下载并安装JDK 点击下一步 选择安装地址,选择完直接下一步 点击完成 点击下一步 出现下面的界面 安装完成后跳出下面的界面,点击关闭 2.配置环境变量 右键计算机属性→高级系统设置→高级里的环境变量→系统变量里的Path→点击编辑→点击新建→浏览→找到下载的java文件,找到2个bin文件,点击确定 配置完成后的效果如下图 打开cmd窗口,输入 java -version ...
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值