Spark local模式和stand alone（HA）模式原理

最新推荐文章于 2024-06-26 20:48:19 发布
原创 最新推荐文章于 2024-06-26 20:48:19 发布 · 602 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #big data

本文详细介绍了Spark的local模式和standalone模式的工作原理，包括如何在local模式下运行多个程序，以及如何配置standalone集群。同时，讨论了standalone模式的HA（高可用）设置，当主Master故障时，备用Master如何接管。此外，还概述了一个Spark程序的运行层次结构，以及4040端口对应的应用程序监控。

1.SPARK的local模式原理

在这里插入图片描述
在这里插入图片描述
local[4]的角色图，两个程序可以运行
在这里插入图片描述
运行spark local[*]模式
在这里插入图片描述
也可以向spark中提交已经写好的python程序，spark- submit

在这里插入图片描述
local模式总结
在这里插入图片描述

2.SPARK的standalone原理

在这里插入图片描述
在这里插入图片描述
spark的standalone环境配置，主要是spark-env.sh，在worker文件里面指定workers，配置好之后要分发到其他节点上，3台服务器，一台是master和worker，另外两台均为worker。

在这里插入图片描述
运行sbin/start-all.sh之后，会打开集群所有节点，这里可以查看网页的端口，node1:8080。
在这里插入图片描述

3.SPARK程序运行层次结构

在这里插入图片描述
一个spark程序的运行层次
4040相当于application
在这里插入图片描述
小结
在这里插入图片描述

4.standalone的HA模式运行原理

High Availability（高可用）
在这里插入图片描述
在这里插入图片描述
配置中将master注释掉，并添加上HA模式，在第一个alive的master被kill之后，会第二个standby的master激活。

梳理对Spark Standalone的理解
张包峰的博客
02-12 8129
spark在这一块的设计是优秀的。图中，app内的SchedulerBackend是可以针对不同资源管理系统实现的，包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面，app内的TaskScheduler是与Task的分配和执行、管理相关的，这部分与下层面向资源的部分是隔离开的，所谓是面向摆放的。 换句话说，SchedulerBackend在1，2，3步之后，已经从集群里，获得了本身app的executors资源。通过它，TaskScheduler可以根据自己的
Spark基础之--启动local与standalone模式
H_hanwen的博客
11-06 1463
我们得到编译好的spark压缩包之后，进行解压；随后进入spark文件夹，获取到spark的路径： /home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0 为了后续使用方便，我建议将spark的路径添加到本地配置（~/.bash_profile） export SPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-...
Spark配置—HA模式
Star-Technology
06-27 700
Step 1： 可以尝试先搭建伪分布式，然后完全分布式只是在这个基础上做了一些修改而已 http://blog.youkuaiyun.com/ymf827311945/article/details/73733916Step 2： 在node11节点上执行命令：vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh添加如下属性：ex
Spark运行环境及不同部署模式：Local模式和Standalone模式
学亮编程手记
07-19 1793
title: Spark运行环境及不同部署模式:Local模式和Standalone模式 date: 2021-05-07 16:16:02 tags: Spark Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行。 Local模式 想啥呢，你之前一直在使用的模式可不是 Local 模式哟。所谓的 Local 模式，就是不需要其他任何节点资源就.
spark 的HA模式
逐波与逆流
08-05 2308
hadoop,spark,kafka交流群：4598988011 spark 集群部署 spark HA模式测试
pySpark概述及环境搭建（local模式，Stand alone模式（非HA））
2202_75347029的博客
09-12 2043
Apache Spark 是用于大规模数据（large-Scala data）处理的统一（unified）分析引擎。其特点是对任意类型的数据进行自定义计算结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用python、Java、Scala、R以及SQL语言取开发程序计算数据。
Spark local模式安装
松泥的博客
08-12 1685
1、首先在linux上创建目录/data/spark1，用于存储所需文件。 mkdir -p /data/spark1 2、下载spark以及scala 切换目录到/data/spark1目录，分别在官网上下载所需的Spark安装包spark-2.2.0-bin-hadoop2.7以及scala安装包scala-2.10.6。 Spark官网：http://spark.apache.org...
Spark Local模式安装
feizuiku0116的博客
01-25 2866
一、前期准备工作 1.配置CentOS7教程 2.配置网络环境 3.远程工具连接 4.安装必要的软件 5.卸载重装JDK 6.卸载重装MySQL 二、安装Spark 一、下载安装包 官网下载Spark安装包 二、上传安装包 cd /export/software rz 上传 三、解压安装包 tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /export/server/ 四、重命名 cd /export/server mv spark-3.1.2-bin-ha
图解spark-local模式运行原理
DrawnBreak
01-31 966
local部署模式 首先spark运行时有4个角色，如下： Driver:应用驱动程序, 是spark集群的客户 Master：Spark的主控节点，是spark集群的老板 Worker：Spark的工作节点，是集群的各个节点主管 Executor：Spark的工作进程，由worker监管，负责具体任务的执行 简单local模式运行流程（无集群） 我们先看下启动任务前， driver和executor之间，简单发生了什么（注意local模式下，executor是在driverApp里面的）： loca
Spark Local和PySpark部署
最新发布
weixin_52854743的博客
06-26 2586
Spark的Local和PySpark环境配置和详细安装
Spark Standalong模式运行原理剖析之天龙八步
大唐帝国—前营
05-18 730
一、概述    Apache Spark是一种快速和通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持一般执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和Spark Streaming。    Spark除了在Mesos或YARN群集管理器上运行，
Spark运行模式之Local模式详解
@小刘同学nice
07-21 8470
Spark安装地址 官网地址 http://spark.apache.org/ 文档查看地址 https://spark.apache.org/docs/2.1.1/ 下载地址 https://spark.apache.org/downloads.html 重要角色 Driver（驱动器） Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkConte...
Spark Standalone HA基本原理及部署
小叮当的博客
11-05 815
spark HA部署
6 ，spark 执行原理 ： spark-standalone 执行原理，spark on yarn 执行原理 ，
孙砚秋的博客
08-14 474
一 ，spark 基于 standalone 提交任务 ： 1 ，standalone - client 模式 ：默认 ， 客户端模式 代码 ： cd /export/servers/spark-2.3.1-bin-hadoop2.6/bin ./spark-submit --master spark://node01:7077 --class org.apache.spark.example...
Spark安装部署（local和standalone模式）
weixin_34318956的博客
05-22 285
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/service/jdk1.7.0_67 export P...
Spark——（Standalone模式，Shuffle原理，RDD编程优化）
qq_43408367的博客
05-03 240
1. 避免使用groupByKey，根据场景选择使用高性能的聚合算子 reduceByKey、aggregateByKey 2. coalesce、repartition，在可能的情况下优先选择没有shuffle的操作 3. foreachPartition 优化输出操作 4. map、mapPartitions，选择合理的选择算子，mapPartitions性能更好，但数据量大时容易导致OOM 5. 用 repartitionAndSortWithinPartitions 替代 repartition +
Spark的HA
10-03 179
step1:在Spark conf目录的 spark-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 #export SPARK_MASTER_HOST=bigdata121 #export SPARK_MASTER_PORT=7077 #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recov...
stage 的计算模式，资源调度，资源调度的结论，spark基于standalone与yarn模式提交任务，集群高可用的原理，shuffle调优中调节参数的集中方式： 配置这些参数有两种方式
wyqwilliam的博客
08-24 561
stage 的计算模式 原文链接：https://blog.youkuaiyun.com/wyqwilliam/article/details/81123227 stage 的计算模式就是：pipeline 模式，即计算过程中数据不会落地，也就是不会存到 磁盘，而是放在内存中直接给下一个函数使用，stage 的计算模式类似于 1+1+1 = 3，而 MapReduce 的计算模式类似于 1+1=2、2+1...
spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】
热门推荐
lyq7269的博客
08-07 1万+
Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。 从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值