Spark window idea 开发环境搭建

未来创世纪 未来创世纪 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 280平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄18年
关注
原创 最新推荐文章于 2026-03-28 02:24:02 发布 280 阅读 AI 写同款· GEO 优化 ›
windonws下spark的安装(最新安装) spark超详细安装步骤 （1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略； （2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。 阅读详情

Spark window idea 开发环境搭建

idea 安装scala插件

  1. 安装JDK

  2. 安装IDEA最新版，目前是IDEA 14，社区免费版就可以；

  3. 安装scala插件，运行IDEA，初次运行，可以直接再弹出的tab框中选择“Configure” -> “plugins”，如果已经使用过在工程页面，“File” -> “Settings” -> “Plugins” 或者Ctrl + Alt + S， 输入“scala”， 安装插件即可
    在这里插入图片描述

windows 配置hadoop环境

  1. 下载hadoop2.7.7版本
    https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
    解压到：D:\Tools\hadoop-2.7.7
    配置hadoop环境变量
    HADOOP_HOME=D:\Tools\hadoop-2.7.7
    PATH中配置：
    %HADOOP_HOME%\bin

  2. 下载winutils.exe
    https://github.com/srccodes/hadoop-common-2.2.0-bin
    2.2版本与hadoop 2.7.7一样适用
    把下载后的文件，进行解压到D:\Tools\hadoop-2.7.7\bin目录下面， 重复文件不用覆盖

收录于
spark

当前文章被收录于：

spark
1 篇文章 0 人学习
订阅专栏 查看详情
标签
#spark #开发环境
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
spark windows环境下开发环境快速搭建。 spark本地练习环境搭建 练习环境搭建 为了避免搭建环境阻塞对spark本身的学习（当然这部分也很重要，当对spark本身有了基本了解后应该学习这部分内容），可采用本地的模式快速搭建练习环境，具体环境搭建参考：Spark在Windows下的环境搭建 本人亲测可用，希望对入门大数据的朋友有所帮助。 IDEA开发环境搭建 在有了上面的环境之后，可以在spark-shell下进 阅读详情

相关推荐

【Cubietruck】Qt5.8.0 x64、x86、armhf三个版本的编译安装

一、       Preparation 以下环境配置支持虚拟机和实体机，但是实体机生产效率会相对高一点，实体机编译Qt的速度是虚拟机两倍以上。 若使用虚拟机，推荐使用VirtualBox，开源免费，尽量不要使用Vmware破解版。   Download List   名称 链接 下载项目 OS https://mirro

beatfan的博客 3658

【Spark】Windows下安装Spark（亲测成功安装）

安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。

tttzzzqqq2018的博客 2万+

SDR实战（五）-AD9361多芯片同步技术详解

本文详细解析了AD9361多芯片同步技术在SDR系统中的实现方法，涵盖硬件连接方案、软件配置流程及同步验证技巧。通过等长时钟走线、低抖动时钟分配和精确的SYNC信号控制，解决MIMO系统中多AD9361芯片的时钟同步难题，提升系统性能与稳定性。

weixin_30952535的博客 761

在IDEA运行spark程序（搭建Spark开发环境）

在IDEA中运行spark程序

wanglingli95的博客 3万+

智能制造 | 如何快速自动生成站位表及自动与BOM校验？

一、站位表（SMT行业中）是SMT上料防错的基础信息，用于对需上料物料与产线、贴片机位置、飞达规格型号、用量，建立基础资料。 SMT站位表是否正确？ 首先需要人工确认站位表与SMT程序的是否符合，上料员依照站位表安装好后，确认人员需有第三方确认者 （品管确定）核对。 站位表内容包括什么？ 站位表内容为：SMT站位号相对应的物料编码，元件位号，飞达大小/间距，数量等等，根据不同公司的要求而定义。 就目前来说，基本每一款贴片机都可以输出站位清单 但对于企业来说，直接输出的站位清单一般不直接使用，需要进行手动处理

vayoinfo111的博客 4942

CloudCompare 二次开发：插件中的 PCL 环境配置与编程

在进行 CloudCompare 的二次开发过程中，我们常常需要使用点云库（Point Cloud Library，简称 PCL）来处理和分析点云数据。在 CloudCompare 的界面中，选中一个点云对象，然后点击菜单栏中的 “插件” -> “MyPluginAction”。插件将对选中的点云对象进行体素滤波处理，并更新显示结果。下面我们将展示一个简单的插件编程示例，该示例使用 PCL 对输入的点云数据进行体素滤波处理。方法进行体素滤波处理，并将结果点云赋值给选中的点云对象。文件并点击 “打开”。

2301_79331387的博客 283

Intellij IDEA编写Spark应用程序的环境配置和操作步骤

在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行

Where runes of code shape the picture :) 7237

Unity实战篇 | 教你怎样将Unity的启动Logo 设置成 自己制作的 帧动画

上一篇文章我们讲了怎样在不购买专业版的情况下自定义Unity的启动Logo。 那本篇文章就来介绍一下，怎样在去除默认Logo的前提下制作自己的启动动画！

努力前行，总会成为自己心中的那道光 6万+

spark环境搭建(idea版本)

spark环境搭建(idea版本) 为了对初学者可以进行友好的交流，本文通过windows的idea快速搭建spark的运行环境，让初学者可以快速的感受spark带来的惊艳感受。 Linux效果更佳，但是对初学者没那么友好，咱们先搞定windows之后再琢磨就会容易很多。 那么接下来如果有环境的话大概5~7分钟就能搞定哦。

红目香薰 1万+

《UDS协议从入门到精通（UDS速查手册）》（完结撒花版）

专栏总目录，文中介绍了UDS协议相关的基础知识和一些术语，给出了详细介绍6大类26种服务的跳转目录。

车载系统攻城狮 9万+

基于 YOLOv26 的遥感图像目标检测系统：从原理到模型

本文介绍了基于YOLOv26的遥感图像目标检测系统。YOLOv26凭借端到端设计、轻量化架构和小目标优化能力，有效解决了遥感图像中多尺度目标、复杂背景、小目标检测等挑战。系统采用CSPDarknet骨干网络和FPN+PAN特征融合模块，通过MuSGD优化器和改进损失函数提升训练效果。文章详细阐述了数据预处理、模型训练流程和优化技巧，包括Tile推理和混合精度训练。系统支持多种部署方式，在CPU上推理速度提升43%，能实现高精度、实时性的遥感目标检测，适用于城市规划、农业监测等场景。

一键难忘的博客 568

【Spark】在window下搭建spark开发环境（IntelliJ IDEA）

概述本系列文章是个人的spark学习笔记。开发环境搭建说明

集成显卡的开源主页 https://github.com/0604hx 1万+

撸毛笔记-电信营业厅 v5.03

电信营业厅 v5.03签到和完成部分金豆任务, 喂宠物7天,15天,28天连签抽奖, 宠物等级权益兑换自己设置电信的服务密码, 把 手机号#服务密码 填到变量里:每天运行一两次const $ = new Env("电信营业厅");

xiaoshun007的专栏 4497

Window下spark开发环境搭建IDEA

Window下spark开发环境搭建IDEA 1、下载Idea 版本：14.1.3 2、安装scala插件 Ctrl+Alt+S-- > Plugins -- > Plugins -- > scala 安装，等待安装后 -- >Finish 重启Idea 3、新建Scala工程 选择本机的Jdk版本和scala版本，如果没有安装，请自行安装 4、配置工

smarthhl的专栏 835

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

Window10+Spark+IDEA 搭建本地开发环境

本文将简单搭建一个spark的开发环境，如下： 软件下载 1）操作系统：windows10 2）IDEA开发工具以及scala插件（IDEA和插件版本要对应） IDEA2018.3.5 下载地址https://www.jetbrains.com/ scala-intellij-bin-2018.3.7.ziphttp://plugins.jetbrains.com/p...

不积跬步，无以至千里 1691

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

八、window搭建spark + IDEA开发环境

本文将简单搭建一个spark的开发环境，如下： 1）操作系统：window os 2）IDEA开发工具以及scala插件（IDEA和插件版本要对应）： 　　2-1）IDEA2018.2.1：https://www.jetbrains.com/ 　　2-2）scala-intellij-bin-2018.2.11.zip ：http://plugins.jetbrains.com/plugi...

weixin_34268310的博客 180

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

Window10 IDEA 搭建Spark

Window10 IDEA 搭建Spark 1.下载spark-2.4.7-bin-hadoop2.7（版本以自己为主，不用和我一样） 2.下载scala（与spark内置的scala版本相同），spark下的jars文件夹可以看到依赖的scala版本 IDEA中，File-Project Structure-Global Libraries中添加scalaSDK spark目录下的jars文件夹导入项目 5.（十分关键！！）下载winUtils（git和github都有，里面直接搜..

Natsumis的博客 397

window下spark的安装和开发环境配置

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。 安装java 安装oracle下的jdk，我安装的是jdk 1.8的64位，这里必须安装64位的，是为了和hadoop对应，全部按照默认选项进行安装。安装完后配...

meng_xiaohua的博客 499

idea spark scala maven环境搭建

1.Windows开发环境配置与安装下载IDEA并安装，可以百度一下免费文档。2.IDEA Maven工程创建与配置1）配置maven2）新建Project项目3）选择maven骨架4）创建项目名称5）选择maven地址6）生成maven项目7）选择scala版本8）新建Java 和scala目录9）编辑pom.xml文件3.开发Spark Application程序并进行本地测试1）idea编写...

努力在路上 4830

Scala学习day01：scala开发环境快速搭建

Scala学习day01：scala开发环境快速搭建 文章目录Scala学习day01：scala开发环境快速搭建为什么学习ScalaScala与Java的关系Scala语言特点Scala环境搭建WindowsLinuxScala开发插件配置编写scala程序 为什么学习Scala 1）Spark—新一代内存级大数据计算框架，是大数据的重要内容。 2）Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。 3）Spark的兴起，带动了Scala语言的发展。 Scal

ChanZany的博客 639

spark学习10（win下利用Intellij IDEA搭建spark开发环境）

第一步：启动IntelliJ IDEA，选择Create New Project，然后选择Scala，点击下一步，输入项目名称wujiadong.spark继续下一步 第二步：导入spark-assembly-1.5.1-hadoop2.6.0.jar包 File——Project Structure——Libraries——点+号——点java——选择下载好的spark-asse...

weixin_34384557的博客 117

IDEA安装配置Scala并编写HelloWord程序

由于本篇文章是为了在Windows下的IDEA搭建Spark环境做准备，因此Scala的版本要与Spark相匹配（这里Spark我用的是2.4.4，Scala用的是2.12.10） 一、首先先在Windows环境下配置JDK和Scala的环境变量，这里不再一一阐述，很简单的。 二、安装IDEA（可参考我安装IDEA的文章） 三、在IDEA中安装Scala插件 这里分为手动安装和自动安装 ...

mango_ZZY的博客 1万+

搭建Spark开发环境

搭建本地Spark开发环境0、明确安装的版本1、安装软件2、在IDEA中创建工程3、链接Hive操作4、链接Kafka操作 0、明确安装的版本 在搭建之前，需要明确安装的版本是什么，我的版本如下： Java 1.8.0_201 Scala 2.11.12 Spark spark-2.4.5-bin-hadoop2.7 查看Spark依赖的Scala版本，可通过 spark-shell查看，如下图： 当版本不一致时，会出现如下异常， 1、Exception in thread “mai

春蝉的个人博客 363

Windows + IDEA + SBT 打造Spark源码阅读环境

Spark源码阅读环境的准备 Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。 本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。 下面列举搭建此环境需要的各个组件： IDEA，有两个版本

铭霏的记事本 7749

利用intellij idea 搭建spark开发环境（windows）

利用intellij idea 搭建spark开发环境（windows） 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 Scala2.11.12 一、Jdk环境配置 下载 http://www.oracle.com/technetwork/cn/java/javase/downloads/...

yiluohan0307的专栏 1万+

idea搭建spark开发环境完整版（windows）

利用intellij idea 搭建spark开发环境（windows） 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 Scala2.11.12 一、Jdk环境配置 下载 http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html 可能需要oracle账号，目前更新到了151版。没有账号的可以移步 链接:

weixin_34280060的博客 5408
上一篇： Spark core 原理(一)
下一篇： av_log av_dump_format不能打印的原因
点赞 0
评论 0
书签 书签 0
未来创世纪
未来创世纪
博客等级 码龄18年 960粉丝 209原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值