[Spark基础]--Spark启动过程（针对standalone）-spark-1.6.0

最新推荐文章于 2024-03-06 20:29:20 发布
最新推荐文章于 2024-03-06 20:29:20 发布
阅读量721 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Apache Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/75340607
本文深入探讨了Spark在standalone模式下的启动过程，重点关注其内部使用的Akka框架和Scala Actor通信机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark启动过程
正常启动Spark集群时往往使用start-all.sh ，此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。
1、启动Master
(1)注册SignalLogger日志记录器
(2)创建名称为master的Actor 并启动，在启动master之前会：
     a). 加载Spark环境变量
     b). 创建workers、apps、drivers等例表，用于记录相关信息
     c). 创建WebUi
     d). 创建及启动MetricsSystem用于监控系统状态
     e). 定期
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark启动流程
科学的N次方
09-14 1008
Spark On Yarn模式启动流程
[Spark优化]--spark-1.6.0调优指南
欢迎来到我的博客，一起探索代码里的世界！
02-25 879
Spark优化数据序列化内存调整内存管理概述确定内存消耗调整数据结构序列化RDD存储垃圾回收调整其他考虑事项并行度水平内存使用减少任务广播大变量数据本地化总结由于大多数Spark计算的内存性质，Spark程序可能会受到群集中任何资源（CPU，网络带宽或内存）的瓶颈。大多数情况下，如果数据在内存中，瓶颈就是网络带宽，但有时候，您还需要进行一些调整，例如 以序列化形式存储RDD，以减少内存使用量。本指...
spark启动过程
04-28
本文详细的描述了spark 的启动过程，帮助你快速了解spark
spark启动流程
weixin_42610333的博客
12-08 958
spark概览 ​ Spark应用程序在群集上作为独立的进程集运行,可以部署在不同环境的集群上，包括(yarn,mesos,standalone,etc…). 由driver中的SparkContext对象协调,这涉及到大概以下环节 用户client端提交应用程序，根据不同环境启动不同的client端。 sparkContext初始化 执行用户程序(job提交，RDD划分statge，生成task) 资源申请 executor注册 makeoffer executor执行 yarn-cluste
spark启动流程1
longlovefilm的博客
12-04 1335
1 standalone模式 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，接下来Driver开始把任务发送给相应的Executor，Executor开始计算任.
Spark集群的启动流程
CyAurora的博客
08-10 1195
( 1 )、调用start-all.sh开始创建Master对象，启动了一条Master进程。然后，执行preStart生命周期方法，开启一个定时器定期检测超时的worker节点；如果发现超时的worker节点，则将其移除。 ( 2 )、脚本会解析slaves配置文件,找到启动Worker的相应节点,开始启动Worker ( 3 )、Worker服务启动后开始调用preStart方法开始向所有的Master进行注册 ( 4 )、Master接收到Worker发送过来注册信息,Master开...
spark-1.6.0-bin-hadoop2.4.tgz
12-16
总的来说，Spark-1.6.0-bin-hadoop2.4.tgz是针对Hadoop 2.4环境的一个完整Spark发行版，提供了丰富的数据处理功能和高效的执行引擎，是大数据领域中的重要工具。对于需要进行大规模数据处理的开发者和数据科学家来说...
[Spark参数配置]--1.6.0版本的参数配置
欢迎来到我的博客，一起探索代码里的世界！
11-06 1686
前言   以下是整理的Spark中的一些配置参数，1.6.0版本的官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统：(1)Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置(2)环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息(3)日志配置：可以通过log4j.pro...
Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）
qq_39131779的博客
10-30 2272
文章目录1.Standalone-client提交任务方式执行流程总结2.Standalone-cluster提交任务方式执行流程总结须知 Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式 提交命令： ./spark-submit --master s...
spark 源代码分析 （二）spark启动过程
chenfenggang的专栏
08-15 927
下载spark后，调用shell脚本启动： ./bin/spark-shell --master local[2] 接下来将分析这个一个过程。spark-shell 会启动--class org.apache.spark.repl.Main， 参数 --name "Spark shell" "$@" ，然后会调用spark-submit cygw
Spark集群启动过程分析
落枫寒的博客
11-12 2102
Spark集群启动过程分析，包括启动参数配置、脚本调用流程详细分析，已经Master和Worker启动后的一些初始化操作
spark源码解析-启动流程
fanbest325的博客
09-30 491
spark源码解析1-master启动流程 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（acto
Spark源码解读(2)——Worker启动过程
scalahome的博客
07-20 764
本文将讨论Spark以Standalone模式部署情况下，Worker的启动过程。 上文已经对Master的启动过程进行了较为详细的分析，Worker的启动过程大部分的代码都是和Master复用的，对于这部分不再赘述。因此对Worker启动过程的分析从onStart()方法开始 override def onStart() { assert(!registered)
第五：Spark启动！
最新发布
2301_77834805的博客
03-06 2166
一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
spark源码分析Master与Worker启动流程篇
那年的坏人的专栏
04-19 4101
spark通信流程 概述 spark作为一套高效的分布式运算框架，但是想要更深入的学习它，就要通过分析spark的源码，不但可以更好的帮助理解spark的工作过程，还可以提高对集群的排错能力，本文主要关注的是Spark的Master的启动流程与Worker启动流程。 现在Spark最新版本为1.6，但是代码的逻辑不够清晰，不便于理解，这里以1.3为准Master启动我们启动一个Mast
Spark实践2（Spark单点的安装）
mikaell的专栏
02-28 1248
    有个笑话是这样的，     程序员小明说，我的女朋友，我就得让她给我买好菜，烧好饭，洗好衣服，叠好被子......     然后运营的妹子轻轻得问了一句，那是不是首先得有一个女朋友？#￥$^%@.....    没错，同样的道理，要Spark实践，我们首先得有个Spark，哪怕他是个单点的。参考官网：http://spark.apache.org/docs/latest/index.htm...
深入理解 Spark（一）spark 运行模式简介与启动流程源码分析
weixin_44512041的博客
01-13 1428
目前在大数据离线计算、批处理场景下，计算引擎基本上被 spark 一统天下。大数据技术日趋成熟的今天，从业者仍然会不时地对这些开源框架的原理进行剖析与温习，温故知新，推陈出新，革故鼎新。本章节介绍了 spark 的常见的几种运行模式，并以 standalone 为例剖析了启动流程源码。读者一方面可以了解到 spark 作业的运行过程，另一方面可以加深对 spark 框架的了解程度。
spark 单机启动命令
Devin
05-29 3335
1、./sbin/start-master.sh 登录node1:8080 2、附加一个worker到master ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://node1:7077 登录node1:8081
Spark 的运行流程原理
LongHai_Zheng的博客
08-21 2094
## Spark Worker工作机制 ## 一、worker 进程的启动 1、Driver 与Executor 的启动过程 二、Worker 启动Driver 1、Cluster 中的Driver 失败的时候，如果supervise为true ，则启动该Driver 的Worker 会负责重新启动该Driver; 2、DriverRunner 启动进程是
分享高效下载spark-2.4.0-bin-hadoop2.7资源
对于希望在生产环境中部署和使用Spark 2.4.0的用户，还需要关注集群管理器的设置，通常可以使用独立部署模式、Standalone模式，或者集成到现有的YARN集群中，这些设置有助于实现高效的资源分配和任务调度。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值