Spark Standalone Mode 在 Win10 下搭建开发调试环境

最新推荐文章于 2025-05-13 15:39:30 发布
原创 最新推荐文章于 2025-05-13 15:39:30 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #standalone

本文详细介绍了如何在Windows 10系统中配置Spark Standalone模式的开发调试环境，包括Java、Scala、Hadoop的环境变量配置，以及启动Master和Slave节点。通过IntelliJ IDEA创建Spark项目，指定Master地址运行测试，成功实现代码追踪和断点调试。

系统环境变量配置

Java Env

略， 确保在cmd终端可以运行java

C:\windows\system32>java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Scala Env

scala download 下载 scala 安装包 scala-2.12.4.zip for windows 解压

配置系统环境变量， 系统 >> 高级系统设置 >> 高级 >> 环境变量：

  • 新建系统变量SCALA_HOME
    这里写图片描述

  • 编辑系统

最低0.47元/天 解锁文章
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 5253
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
qq_65231448的博客
08-12 1614
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
Spark在Win10下的环境搭建
热门推荐
海锋博客
03-08 3万+
前言本章将介绍如何在WIN10下实现spark环境搭建。本章概要1、版本说明2、环境准备：jdk配置；scala安装与配置；spark安装与配置；hadoop安装与配置；版本说明jdk：1.8scala：2.11.8spark：2.3.0hadoop：2.8.3环境准备jdk配置1、配置JAVA_HOME与Path：Path2、验证配置：scala安装与配置1、scala下载：访问官方地址http...
Windows上搭建Standalone模式的Spark环境
weixin_30851409的博客
12-24 363
Java 安装Java8，设置JAVA_HOME，并添加 %JAVA_HOME%\bin 到环境变量PATH中 E:\java -version java version "1.8.0_60" Java(TM) SE Runtime Environment (build 1.8.0_60-b27) Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23...
Spark的StandAlone运行模式环境搭建
gx304419380的博客
01-25 734
一、Spark集群搭建 版本：spark-2.1.0-bin-hadoop2.6 安装：将spark解压到各节点的/opt目录下 配置：(各节点配置相同) 1. 进入spark配置文件夹： cd /opt/spark/conf 2. 将slaves.template修改为slaves： mv slaves.template slaves 3. 修改slaves文件，添加spark集
Spark Standalone 单机
优快云1154366625的专栏
06-24 513
请先看完 “集群搭建必看！初期准备工作！” 所需文件：spark-2.1.2-bin-hadoop2.7.tgz 1.安装spark-2.1.2$ sudo mkdir -p /colony/spark //创建spark安装目录$ sudo tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz -C /colony/spark/$ sudo chown -R hado...
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
【Spark】集群环境下的搭建（Standalone 模式）
2403_86969226的博客
11-09 1566
Spark有五种运行模式‌，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式‌。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用‌。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
windows下spark standalone集群模式及集成hive metastore
yians的专栏
12-08 1056
要开始研究spark的源码了，首先要准备好环境，搭建时的考虑如下： 1、开发windows还是首选，所以运行环境限制在windows下 2、既然看源码，集群模式绕不过去，使用spark standalone集群已经能说明绝大部分问题，不采用yarn是因为在windows下面搭建太麻烦了 3、生产环境肯定是集成hive的metastore，这里使用独立的metastore服务方式，hive已经沦落到元数据管理的作用了，当然即便是元数据管理这一项，也是非常重要的，这里使用mysql作为metastore的
spark之Standalone模式部署配置详解
08-29
主要介绍了spark之Standalone模式部署配置详解，小编觉得挺不错的，这里分享给大家，供各位参考。
Spark Java程序案例入门+Spark Window环境搭建
淋雨西河的博客
11-27 2271
spark+windows环境搭建 下载链接http://spark.apache.org/downloads.html 请先搭建scala+windows环境 下载完后配置环境变量 运行spark-shell报错解决办法： hadoop各版本下载链接https://archive.apache.org/dist/hadoop/common/ 配置hadoop+wi...
spark-standalone安装教程
m0_48379126的博客
10-21 733
安装环境：CentOS-7、jdk 软件版本：spark-2.3.4-bin-hadoop2.6 资源路径：百度网盘 请输入提取码 提取码：zzzz 1、将安装包上传到 /opt 目录下 2、解压安装包 tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz -C soft/spark234/ --strip-components 1 3、将 /opt/soft/spark234/conf/slaves.template 拷贝一份改名为slaves，并编辑 cp..
Spark-sql windows 下 执行错误.
weixin_30347009的博客
05-15 185
root scratch dir: /tmp/hive on HDFS should be writable 查询后，下面这个博客的解决方案成功解决了我的问题。解决方案的参考链接主要是在spark/bin 下执行了如下三条语句 %HADOOP_HOME%\bin\winutils.exe ls \tmp\hive %HADOOP_HOME%\bin\winutils.exe chmo...
Standalone模式介绍
最新发布
2301_81283441的博客
05-13 1066
Spark Standalone 是 Apache Spark 自带的集群管理器，无需依赖外部系统（如 Hadoop YARN 或 Kubernetes），可直接部署 Spark 集群。它提供了简单的资源调度和任务管理功能，适合快速搭建测试环境或轻量级生产集群。Standalone 模式采用。
Spark 启动报错
LENG_HHH的博客
06-13 1586
spark报错
windows系统作为driver远程提交任务给spark standalone集群demo
咸鱼的小站
05-11 1553
其实这个是上篇文章的升级版。先上demo代码吧，其中要改的地方还挺多的，此外，如果不将模型持久化的话，烦请自行修改相关代码（demo比较简单，我就不阐释他是干什么的了）：from pyspark.ml.feature import Word2Vec from pyspark.sql import SparkSession from pyspark import SparkConf from pys...
Spark的StandAlone模式环境搭建
Jafey的博客
02-14 777
1.简介 Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。 Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。 初步学习以后，SparkStreaming还是比较容易上手的，使
windows10下spark2.3.0本地开发环境搭建-亲测
06-22 6184
 1  windows10下spark2.3.0本地开发环境搭建win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本：win10 家庭装，64位，x86处理器JDK1.8.0_171hadoop-2.7.6Spark-2.3.0Scala-2.11.8Maven-3.5.3ideaIC-2018.1.4.exespark-2.3.0-b...
掌握Spark入门：安装、开发环境搭建及调试
Spark开发环境搭建主要包括以下步骤： 1. 安装Java开发环境，因为Spark是基于Java开发的。 2. 下载并解压Spark源码。 3. 设置环境变量，如JAVA_HOME、SPARK_HOME等。 4. 安装并配置Scala环境，因为Spark的API大部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值