Spark windows环境搭建

贺知煜 贺知煜 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 412平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄4年
关注
原创 最新推荐文章于 2026-03-02 08:22:24 发布 412 阅读 AI 写同款· GEO 优化 ›
Spark环境搭建-Windows spark Windows搭建 阅读详情

前言

        需先在windows中下载ideacl 软件 ，软件下载地址为https://www.jetbrains.com/idea/，

还需装好java 环境

下载教程

进入官网

点击 download,选择windows版本下载社区版，黑色的，点击下载，安装。

安装好后，打开设置setting

打开plugins 搜索scala,下载好后，重启软件

打开文件新建project

选择scala 选择idea

选择scala sdk 选择自己的版本，确定

新建项目

选择object

标签
#scala #spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Spark在Windows下的环境搭建 由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 阅读详情

相关推荐

Windows上python的spark环境搭建

1.安装好JDK 下载并安装好jdk-12.0.1_windows-x64_bin.exe，配置环境变量： 新建系统变量JAVA_HOME，值为Java安装路径 新建系统变量CLASSPATH，值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;（注意最前面的圆点） 配置系统变量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin 在CMD中输入：java或者java -version，不显示不是内部命令等，说明安装成功。

weixin_43915303的博客 652

idea官网下载（版本自选）

https://www.jetbrains.com/zh-cn/idea/download/other.html

bigtree_的博客 2万+

windows下搭建spark开发环境

windows下spark开发环境搭建

queen123444的博客 2544

IDEA安装与配置（小白教程）

目前，主流的大型项目结构基本都是多Module的结构，这类项目一般是按功能划分的，比如：user-core-module、user-facade-module和user-hessian-module等等，模块之间彼此可以相互依赖，有着不可分割的业务关系。IntelliJ在业界被公认为最好的Java开发工具，尤其在智能代码助手、代码自动提示、重构、JavaEE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。

weixin_43977307的博客 2万+

ideaCl的Scala插件

ideaCl在下载Scala插件可能会失败，所以就想把我下载好的分享给大家。需要注意的是，Scala插件版本要和ideaCl的版本要匹配，我发的这个插件适用于这个版本IntelliJ IDEA Community Edition 2021.3.2

单相PWM整流器四象限运行原理

简述单相PWM整流器四象限运行原理。

m0_75208156的博客 8301

在Windows平台下搭建Spark开发环境（Intellij IDEA）

1.  在Windows平台下搭建Spark开发环境（Intellij IDEA+Maven）1.1 集成开发环境IDE为了方便应用程序开发与测试，提高开发效率，一般使用集成开发工具IDE。同样，为了方便Spark应用程序编写和测试，可以选择集成开发工具Intellij IDEA或Eclipse。由于Intellij IDEA对Scala更好的支持，大多Spark开发团队选择了Intellij I...

haijiege的专栏 1万+

ModelSim 2020.4破解失败？手把手教你解决‘Unable to checkout viewer license‘报错（附环境变量配置）

本文针对ModelSim 2020.4启动时遇到的‘Unable to checkout viewer license’报错，提供了从理解许可证机制到分步修复的完整指南。文章深入解析了viewer license与图形用户界面（GUI）的关系，并详细说明了通过生成有效许可证文件、精准配置系统环境变量及替换关键文件来解决图形界面启动失败的问题，帮助用户彻底修复并理解其背后的逻辑。

k6l7m8n9的博客 991

IDEA常用配置

IDEA2019一些设置 1.修改背景颜色 2. 编辑器字体大小

cl_mumu的博客 237

Win10系统蓝屏错误BAD SYSTEM CONFIG INFO的解决方案

BAD SYSTEM CONFIG INFO错误是Win10系统中较为常见的一种蓝屏错误，通常与系统配置文件损坏或丢失有关。本文介绍了三种有效的解决方法：使用系统修复高级选项修复、通过PE修复文件和重装新系统。用户可以根据实际情况选择合适的方法进行操作。同时，建议用户定期备份系统重要文件和数据，以防止类似问题的发生。在遇到问题时，保持冷静并耐心操作，通常可以顺利解决问题。

mmoo_python的博客 7725

[工具使用]黑暗引擎FOFA

黑暗引擎FOFAFOFA(点我进入)逻辑运算符搜索子域名domain搜索指定内容的host全部域名bodycert搜索选定应用的网站搜索指定开放端口的IP搜索指定协议的IP搜索IP或者网段的信息搜索指定CSS/JS网站常用的一些内容其他 FOFA(点我进入) 官网这样描述：FOFA是白帽汇推出的一款网络空间资产搜索引擎。它能够帮助用户迅速进行网络资产匹配、加快后续工作进程。例如进行漏洞影响范围分析、应用分布统计、应用流行度排名统计等。 简单理解就是，一个本土加强版shodan，知道某产品在互联网的部署情况、

网络安全知识分享 3万+

windows下搭建spark环境

文章目录0.前提1. 安装Scala1.1. 下载Scala1.2. 配置环境变量1.3. 验证2. 安装spark2.1. 下载spark2.2. 配置环境变量2.3. 验证spark是否能正常启动3. 安装hadoop3.1. 下载3.2. 安装3.3. 配置环境变量3.4. 安装hadoop winutils，3.5. 验证 0.前提 windows下搭建spark环境需要首先在本地安装J...

qq_41725214的博客 533

MySQL 优化 - index_merge 导致查询偶发变慢

今天遇到了一个有意思的问题，线上数据库 CPU 出现了偶发的抖动。定位到原因是一条查询语句偶发变慢造成的，随后通过调整表中的索引解决。优化器通过某种机制检测到 index_merge 能带来性能提升，某些情况下不会带来提升，反而会耗费更长的时间，属于优化器的缺陷，可以通过调整表中的索引来解决。

分享既学习 1255

windows10搭建spark本地开发环境

注意：Spark3.0、Spark3.1是由Scala2.12预编译，但是Spark 3.2+是采用Scala 2.13预编译。

besmarterbestronger的博客 7706

win10 运行lisflood_8踩过的坑

1、安装cuda及VS2019 https://www.bilibili.com/read/cv7335974/ 2、netcdf.h头文件找不到问题 https://www.cnblogs.com/lyggqm/p/12926974.html https://blog.youkuaiyun.com/u011954296/article/details/54617048 3、编码问题 https://blog.youkuaiyun.com/qq_33485434/article/details/81196843 4、

我的笔记 4115

金融机构和贷款产品数据抓取：使用Python爬虫技术获取金融机构的贷款产品信息与条件

本文介绍了如何使用Python爬虫技术抓取金融机构的贷款产品信息，包括静态网页抓取和动态网页抓取两种方法。通过requestsSelenium等工具，我们能够轻松抓取银行和消费金融平台上的贷款信息，并存储和分析数据。随着技术的发展，我们还可以扩展爬虫功能，抓取更多的金融机构网站，或者结合自然语言处理技术对贷款产品的评论进行情感分析，为用户提供更多维度的贷款决策支持。

2201_76125261的博客 1733

Windows下搭建spark环境

Windows下搭建spark环境 【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】 参考文章： Spark在Windows环境是如何搭建的 运行环境： Win10 64位 Jdk 1.8.0_171 Scala 2.11.12 Hadoop 2.7.3 Winutils.exe 一：JDK的安装与环境变量的配置 1.下载并安装jdk 到官网找到自己想要下载的jdk下载其win...

fy_1852003327的博客 718

SAP UI5 主题设置全解析：从启动参数到运行时切换、跨域白名单与事件监听

SAP UI5主题体系深度解析：从配置到切换的完整指南 摘要：SAP UI5主题机制远不止CSS换肤，其工程化实践涵盖启动配置、运行时API切换、跨库路径映射及安全管控等关键环节。通过bootstrap标签或URL参数设置初始主题，运行时可用Theming.setTheme无刷新切换。自定义主题需配置theme-roots路径，跨域加载需声明sap-allowed-theme-origins白名单。主题切换完成后会触发applied事件，适合执行视觉同步操作。该体系支持多品牌适配、集中式主题管理，在Fior

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 327

windows搭建spark环境

windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装

qq_25091649的博客 4518

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目，保存在这里方便以后使用直接下载

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

windows下spark环境的搭建

windows下spark环境的搭建 1.下载JDK JDK 安装 E:\advancedos\JDK 配置环境： 添加E:\advancedos\JDK\bin至系统变量和环境变量中 验证：java -version 2.下载scala scala 直接安装，默认添加至环境变量中 3.下载spark spark 解压，添加至环境变量中 将spark文件夹取消只读，并在安全中设置为完全控...

Stupid-Tyro的博客 181

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

Spark在Windows下的环境搭建及pyspark的使用

1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。

m0_61831106的博客 4341

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

【spark】windows spark 环境搭建

Windows平台环境搭建 JDK 1.8-8u201 Scala 2.11.8 spark 2.2.0 hadoop 2.7.2 sbt 0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml ...

sowhat 952
上一篇： Spark scala 项目 九九乘法表
下一篇： 大数据可视化 学习项目二
点赞 5
评论 1
书签 书签 1
贺知煜
贺知煜
博客等级 码龄4年 128粉丝 16原创
+ 关注
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值