spark在windows的配置

最新推荐文章于 2025-05-10 16:33:26 发布

weixin_30512043

最新推荐文章于 2025-05-10 16:33:26 发布

阅读量295

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/timlong/p/9991494.html

本文介绍如何在Spark环境中正确配置环境变量SPARK_DIST_CLASSPATH，并通过修改log4j.properties文件来消除spark-shell退出时的错误信息，提升用户体验。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在spark-env.cmd添加一行

FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i

修改：log4j.properties，去掉spark-shell退出的报错信息bug

log4j.logger.org.apache.spark.util.ShutdownHookManager=OFF

转载于:https://www.cnblogs.com/timlong/p/9991494.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30512043

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

windows配置spark开发环境

chaney的博客

04-15

3034

本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。

Windows系统下的Spark环境配置

eeee~~的博客

09-04

2275

在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。

参与评论您还未登录，请先登录后发表或查看评论

大数据时代--windows下spark的安装与配置教程

最新发布

qq_25640757的博客

05-10

779

前提系统已经安装jdk选型版本。

【Spark】Windows下安装Spark（亲测成功安装）

tttzzzqqq2018的博客

08-02

2万+

安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。

spark踩坑记——windows环境下spark安装和运行

2201_76100933的博客

06-03

1504

spark踩坑记——windows环境下spark安装和运行

Windows下配置IDEA的Spark的开发环境

01-20

Windows下配置IDEA的Spark的开发环境下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启；下载scala的包并...

Spark在Windows下的环境搭建方法

10-16

在Windows环境下搭建Spark的环境是一项涉及多个软件安装和配置的过程。首先需要准备JDK（Java Development Kit），接着安装Scala，之后下载Spark本身，并设置好系统变量，最后为了更好地运行Spark环境，还需要配置...

windows版本配置本地spark时，配置hadoop路径-附件资源

03-05

windows版本配置本地spark时，配置hadoop路径-附件资源

windows下安装配置spark

深海小黄鱼

01-12

2807

安装时一定要注意版本的对应，尤其下载官方scala的编辑器Scala IDE for Eclipse时注意scala版本和java版本，同样是1.8也会有问题，查看它对应的具体哪一个由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，H

Spark开发环境之windows配置

漫游学海之旅

10-25

737

1. 需要 Eclipse http://www.eclipse.org/downloads/ Scala IDE http://scala-ide.org/blog/release-notes-4.2.0-vfinal.html 前提：安装了JDK 、 Scala http://www.scala-lang.org

windows搭建spark环境

qq_25091649的博客

10-21

4149

windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装

windows下spark开发环境配置

热爱我的热爱

12-29

643

特注：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已经安装了eclipse、maven、jdk等软件 spark支持jdk版本建议是1.8及以上，如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz，故以该版本为例

window配置spark hadoop

qq_39018604的博客

02-03

215

window配置spark hadoop

Windows下Spark开发环境的搭建

m0_74394437的博客

12-10

862

在安装Spark之前，需要先安装Java。可以从Oracle官网下载Java安装程序，或者使用操作系统自带的包管理器安装Java。进入spark文件夹中的conf中，将spark-env.sh.template复制一份，将文件名修改为spark-env.sh。将Spark的bin目录添加到系统的PATH环境变量中，以便可以在任意目录下运行Spark命令。从Spark官网下载最新版本的Spark，解压到任意目录（我是解压到D盘下)win+R 输入cmd 进入cmd命令行中，输入spark-shell。

windows环境下安装spark

u011521890的专栏

11-20

5549

前言花了近两周的时间学习了scala的语法，然后就迫不及待的想要玩一下spark的开发了。这里先介绍一下spark在windows环境下的安装步骤和方法。因为spark大数据的计算肯定是基于分布式集群的方式才能发挥其巨大的作用，所以，在windows环境下学习大数据，只是纸上谈兵的方式。因为环境的限制，所以只能在现有的电脑上进行大数据的学习，先了解spark的API吧!先把原

Windows环境搭建Spark开发环境

爱码士的博客

08-05

401

Linux安装请参考大数据环境搭建(六)之安装Spark Windows安装下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/ 解压后：添加环境变量 Path追加打开cmd 输入 spark-shell 检测 spark-submit测试首先你要用scala写一个helloworld程序，创建方式请参考：https://blog.csdn.net/qq_15973399/article/details/1

win 10下spark的安装及配置

haokelaicds的博客

04-11

5830

一级标题提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录步骤一、jdk配置二、Hadoop配置三、Spark配置四、scala安装五、运行测试步骤提示：以下是本篇文章正文内容，下面案例可供参考一、jdk配置在jdk官网中下载与自己电脑相应配置的jdk。点击电脑的设置——>关于——>高级系统设置——>环境变量中配置jdk环境变量。点击新建，输入下图中的变量名称，变量值填写你自己安装的jdk目录路径。建好后点击确定在系统变量中添加变量名

Windows环境下Spark安装包使用教程

标题：“Windows.zip”暗示这是一个针对Windows操作系统的压缩文件，包含了在Windows环境下安装和配置Apache Spark所必需的资源。描述：“基于Windows下安装spark全套资源包”表明这个压缩包里包含了所有安装...