【Spark】Local本地模式安装部署

最新推荐文章于 2024-06-26 20:48:19 发布
原创 最新推荐文章于 2024-06-26 20:48:19 发布 · 504 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #安装 #云计算 #本地模式

本文详细介绍了Spark的安装过程，包括下载安装包、上传及解压、目录结构解析，以及如何启动spark-shell并理解其参数含义。适用于初学者快速上手Spark环境搭建。
  • 下载Spark安装包

下载地址：http://spark.apache.org/downloads.html

 

  • 上传安装包
cd /export/soft/
rz

  • 解压
tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/

 

  • 解压目录说明

bin：可执行脚本

conf：配置文件

data：示例程序使用数据

examples：示例程序

jars：依赖 jar 包

python：pythonAPI

R：R 语言 API

sbin：集群管理命令

yarn：整合yarn需要的东西

 

 

  • 启动spark-shell
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/ 
./spark-shell

 

  • spark-shell说明

./spark-shell

表示使用local 模式启动，在本机启动一个SparkSubmit进程

 

指定参数 --master

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local[*] 表示使用当前机器上所有可用的资源

 

不携带参数（默认）

spark-shell --master local[*]

 

退出spark-shell

使用 :quit

Windows本地安装部署Spark及Pyspark
大模型与Agent智能体
04-09 1319
Windows本地安装部署Spark及Pyspark Windows环境安装配置 Pyspark 启动常见问题解决（系统找不到指定路径、Java gateway process exited before sending the driver its port number） 海报：业界AI课程分享，段智华邀你一起学习。本课程将从实际业务出发，基于Python3落地工作中经常碰到的分析与挖掘...
Spark local模式安装
松泥的博客
08-12 1679
1、首先在linux上创建目录/data/spark1，用于存储所需文件。 mkdir -p /data/spark1 2、下载spark以及scala 切换目录到/data/spark1目录，分别在官网上下载所需的Spark安装包spark-2.2.0-bin-hadoop2.7以及scala安装包scala-2.10.6。 Spark官网：http://spark.apache.org...
spark（二）：本地安装
幻神舞的专栏
10-15 859
说明 本博客每周五更新一次。 本文介绍win10系统下spark安装，通过安装辅助理解spark。 分享 大数据博客列表 安装模式 spark有四种安装模式，具体如下： 模式名称 说明 单机模式 单台机器部署，主要用于开发测试 Standalone模式 多台机器构建Master+Slave的Spark集群，任务运行在spark集群中，数据量不多推荐使用。 Spark On yarn Spark任务提交到hadoop集群yarn上，不需要额外构建Spark集群 Spark
Spark --最全的安装部署 local本地模式spark安装 spark--standalone集群安装 spark-HA高可用安装 spark on yarn安装
kismet
04-03 4292
安装部署之前，先来看看为什么要安装它这个版本！！！ 我们安装的是Spark2.2.0 目前企业中使用最多的稳定版 使用Apache版还是CDH版? 1.Apache版直接下载官方编译好的基于Apache Hadoop的Spark即可 2.自己下载Spark源码基于CDH Hadoop重新编译 因为CDH5.14版 Spark基于Spark1.6...
Spark安装部署Local
Laity
05-16 396
生命无罪，健康万岁，我是laity。 以下操作都是基于你已经把hadoop集群搭建好了的情况下 Spark的运行模式 上面的部署安装属于(本地模式)Local部署 Spark的架构角色 个人认为很重要 - 方便理解Spark和YARN Python环境部署 我们用的python环境是Anaconda3 # 1.将`Anaconda3-2021.05-Linux-x86_64.sh`文件到Linux服务器上 # 2.安装到 /opt/laityInstall 下 sh ./Anaconda
物理机本地和集群部署Spark
qq_37232843的博客
01-13 736
1）官网地址：http://spark.apache.org/2）文档查看地址：https://spark.apache.org/docs/3.1.3/3）下载地址：注意：sc是SparkCore程序的入口；spark是SparkSQL程序入口；master = local[*]表示本地模式运行。说明：本地模式下，默认的调度器为FIFO。
Spark Local和PySpark部署
weixin_52854743的博客
06-26 2570
Spark的Local和PySpark环境配置和详细安装
精选资源
spark三种模式部署安装（基于Anaconda3实现spark编程）
03-25
Spark支持三种主要的部署模式：Local模式、Standalone模式以及YARN模式。 ##### 1.1 Local模式 **Local模式**是最简单的部署方式，适用于开发测试环境。它不依赖任何集群管理工具，所有的计算都在单个节点上进行。...
Spark 安装部署（Local+Standalone+Yarn等）
mengxianglong123的博客
11-12 1188
概述 Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行 下载地址：http://spark.apache.org/downloads.html 一、Local模式 想啥呢，你之前一直在使用的模式可不是Local模式哟。所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的
Linux部署Spark 本地模式
an13654067079的博客
11-07 1126
Linux部署
Spark Local 环境部署
weixin_44936816的博客
06-08 624
Spark Local 环境部署
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.youkuaiyun.com/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
Spark Local环境部署
m0_73905064的博客
01-09 2247
功能功能提供一个python提供一个scala提交java\scala\python代码到spark中运行解释器环境用来以python代码执行spark程序提供一个python解释器环境用来以scala代码执行spark程序提供一个scala提供一个scala特点解释器环境 写一行执行一行解释器环境 写一行执行一行提交代码用使用场景测试\学习\写一行执行一行\用来验证代码等测试\学习\写一行执行一行\用来验证代码等正式场合, 正式提交spark程序运行。
spark环境部署(local、standalone、yarn)
clear-ninghongkang的博客
04-20 1262
spark环境的部署
spark本地模式的安装
阿古朵
08-22 256
前提：java环境，hadoop环境，scala环境均已安装且版本没有问题 问题：双击spark-shell.cmd没有反应解决方案：暂未找到
Spark-环境部署
dafsq的博客
03-06 614
Spark-环境部署
Spark部署 本地安装
秀发去无踪，代码更出众
06-22 260
1.环境准备 安装JDK（1.8+） 安装Scala（2.11.8） 安装Hadoop-2.60-cdh5.14.2 2.安装spark 1 解压 $ tar -zxf /opt/software/spark-2.2.1-bin-2.6.0-cdh5.14.2.tgz -C /opt/modules/ 修改目录名称：ln -s spark-2.2.1-bin-2.6.0-cdh5.14.2/ spark2.2.1 2 配置文件名修改： cp conf/spark-env.sh.template conf/s
1.spark学习(本地模式安装)
qq_614617158的博客
07-27 308
1.spark环境搭建 1.1准备工作 1.JDK（linux安装） 2.ScalaSDK 本机安装wins上安装 3.Spark安装包 spark官网下载地址（官网下载地址） 传送门：阿里云下载 这是我下载好的spark-3.0.0-preview2-bin-hadoop2.7.tgz 1.2原理 1.3操作 1.把文件上传到到服务器上spark-3.0.0-preview2-bin-hadoop2.7.tgb 2.解压tar -zxvf spark-3.0.0-preview2-bin-hadoop2
Spark本地配置
水木青枫的专栏
08-24 187
1. 下载解压安装包 tar -xvf spark-2.0.2-bin-hadoop2.6.tgz tar -xvf scala-2.11.8.tgz 2. 修改Spark配置文件 cdspark-2.0.2-bin-hadoop2.6/conf/ vim spark-env.sh exportSCALA_HOME=/usr/local/src/scala-2.11.8 expo...
spark本地local部署
最新发布
02-13
### 部署Apache Spark本地模式指南 #### 创建Spark应用程序实例 为了在本地环境中设置并运行Apache Spark，在代码中可以指定`master`参数为`"local[*]"`来启动Spark应用，这使得程序能够在单机多线程环境下执行，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值