spark windows单机安装，intellij、eclipse开发

最新推荐文章于 2025-04-08 11:00:55 发布
最新推荐文章于 2025-04-08 11:00:55 发布
阅读量939 收藏
点赞数 1
分类专栏： spark 文章标签： spark windows intellij hadoop eclipse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyang_software/article/details/47830649
版权
本文提供了一步一步的指南来帮助读者在Windows环境下安装和配置Apache Spark 1.4.1版本。从下载Spark和Hadoop开始，文章详细介绍了环境变量的配置方法、IDE插件的安装过程、Scala的安装与配置步骤，以及如何在IDE中编写并运行Spark程序。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.首先到官网下载spark包，我下载的是spark-1.4.1-bin-hadoop2.6

2.下载hadoop Windwos的工具，下载地址为：http://download.youkuaiyun.com/detail/wangyang_software/9030945

3.配置hadoop的环境变量，重启电脑让环境变量生效，让System.getenv("XXX")能获取到，否则会报null/../winutils.exe not exists的错误，或者类似的错误。

4.在IDE中安装插件，intellij、eclipse连接联网直接下载就可以，或者下载插件，手动安装。

5.下载scala，安装，类似JDK，然后配置环境变量。

6.在IDE中开发，编写程序，直接运行就OK了,运行模式要写成local


注意：

java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样，修改hadoop的文件就OK了。

java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.

缺少winutils.exe ，参照上述2.



AI系统Spark原理与代码实战案例讲解
AI天才研究院
06-28 522
AI系统Spark原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Apache Spark, 分布式并行计算, 大数据处理, 机器学习加速, 数据流处理, 资源管理, 可移植性
Spark Task原理与代码实例讲解
AI天才研究院
07-25 430
Spark Task原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 随着大数据技术的快速发展，数据处理的需求日益增加。在处理大规模数据时，传统的单机编程方式逐渐显露出局限性，如处理速度慢、内存消耗大、并发处理能力不足等。Apach
spark_2_8_3 windows版
02-26
以龟速从官网下载的spark windows版，放这里供大家使用
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3722
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Spark 安装（windows）
最新发布
2402_87382229的博客
04-08 526
环境变量配置完成后验证spark是否安装成功，开启一个新的cmd窗口。输入：spark-shell 出现版本号即为安装成功。点击确定后 再编辑用户变量 点击path进行编辑。把spark安装包解压到一个新文件夹中。搜索环境变量 在系统变量中配置路径。复制spark安装包解压后的路径。环境变量设置完成后点击确定退出。
Spark Windows
杨航的专栏
08-07 347
　本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 　　上图中两个用红色标记的地方都是可以点击的，点击进去之后可以看到这个最新版本的一些更为详细的信息，如下图所示： 　　下载完.
spark的windows模式
weixin_46155444的博客
03-16 280
下载自己对应的版本 网址：http://spark.apache.org/downloads.html 解压缩文件 将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中 启动本地环境 执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境 在 bin 目录中创建 input 目录，并添加word.txt 文件, 在命令行中输入脚本代码 sc.textFile("input/word.txt").flatMa
spark安装
05-09
#### Spark单机环境搭建步骤 ##### 下载相关软件 首先，确保已经下载了所有必需的软件包。以下是各个软件的下载链接： - **JDK**：[Oracle JDK 8]...
Spark单机模式搭建
徐先森的博客
06-11 2671
Spark单机模式搭建步骤。
Spark原理与代码实例讲解
AI天才研究院
07-03 1860
Spark原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Apache Spark, 分布式并行计算, 数据流处理, 哈希分片, DAG调度 1. 背景介绍
Spark环境搭建-Windows
03-27
Spark环境搭建-Windows
Spark部署之Windows
zhongmingyu
03-27 680
在同学们自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程， 并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度， Spark 非常暖心地提供了可以在windows 系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习 Spark 的基本使用.将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中。先在bin目录下创建input/word.txt。3 执行Scala代码。4 向命令行提交应用。
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Spark 2.8.3 Windows版：大数据处理框架入门与实践
weixin_42598278的博客
11-25 819
本文还有配套的精品资源，点击获取 简介：Apache Spark是一个开源的大数据处理框架，以高效、灵活和可扩展性著称。本案例介绍Windows环境下的Spark版本，即Spark 2.8.3，虽然非最新版本，但对学习和研究有其价值。Spark通过引入RDD进行内存计算来解决Hadoop MapReduce的低效率问题，提供包括Spark Core、Spark SQL、Sp...
windows中安装Spark
蓝色格子ren的博客
07-27 6345
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
Spark在Windows环境下的搭建
Simon的博客
03-11 6856
一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
spark windows 单机 安装
designpc的专栏
07-10 3747
0目标 单机windows上，运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的 解压到D:\softwar
Spark在Windows下的环境搭建及pyspark的使用
m0_61831106的博客
01-03 3693
1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。
掌握Spark ML打造豆瓣电影推荐系统教程
用户需要将这个压缩包解压后，通过适当的IDE（如IntelliJ IDEA或Eclipse）或者直接在命令行中使用Scala或Python对项目进行编译和运行。项目中可能包含的数据预处理、特征提取、模型训练、模型评估和推荐生成等模块，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值