Spark技术内幕：Master的故障恢复

最新推荐文章于 2023-11-27 09:30:59 发布
原创 最新推荐文章于 2023-11-27 09:30:59 发布 · 1.3w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #zk

本文深入探讨Spark Master基于ZooKeeper的高可用性实现，详细讲解了Master如何进行快速故障恢复。在接收到ElectedLeader消息后，Standby状态的Master开始恢复Application和Worker的元数据信息。通过ZooKeeperLeaderElectionAgent接口，Master逐个恢复Application和Worker状态，完成恢复过程。同时，文章讨论了默认60秒的超时设置是否合理，并介绍了通过`spark.worker.timeout`配置自定义超时时间。

Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现  详细阐述了使用ZK实现的Master的HA，那么Master是如何快速故障恢复的呢？

处于Standby状态的Master在接收到org.apache.spark.deploy.master.ZooKeeperLeaderElectionAgent发送的ElectedLeader消息后，就开始通过ZK中保存的Application，Driver和Worker的元数据信息进行故障恢复了，它的状态也从RecoveryState.STANDBY变为RecoveryState.RECOVERING了。当然了，如果没有任何需要恢复的数据，Master的状态就直接变为RecoveryState.ALIVE，开始对外服务了。

一方面Master通过

beginRecovery(storedApps, storedDrivers, storedWorkers)


恢复Application，Driver和Worker的状态，一方面通过 

recoveryCompletionTask = context.system.scheduler.scheduleOnce(WORKER_TIMEOUT millis, self,
          CompleteRecovery)


在60s后主动向自己发送CompleteRecovery的消息，开始恢复数据完成后的操作。

首先看一下如何通过ZooKeeperLeaderElectionAgent提供的接口恢复数据。


                

        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现

				
			

			

				

					anzhsoft的技术专栏
				

				

					06-24
					
					3万+
					
				

			

		

		

			
				
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是

			
		

	



                

            
              



	

		

			

				
					
Spark技术内幕读书笔记：Spark核心——RDD实现详解

				
			

			

				

					Big_data_implicit_
				

				

					01-28
					
					545
					
				

			

		

		

			
				
————Spark技术内幕读书笔记————
深入解析内核架构设计与实现原理
Spark究竟解决了什么问题？

1.背景：
在spark出现之前，hadoop的迅速发展，hadoop分布式集群，把编程简化为自动提供 位置感知性调度，容错，以及负载均衡的一种模式，用户就可以在普通的PC机上运行超大集群运算，hadoop有一个非常大的问题：hadoop是基于流处理的，hadoop会从(物理存储)hdfs中加载数据，然后处理之后再返回给物理存储hdfs中，这样不断的读取与写入，占用了大量的IO，后来hadoop出现

			
		

	



              


  
  
              

                


	

		

			

				
					
SparkCore  —  Master主备切换

				
			

			

				

					zlx_code的专栏
				

				

					08-30
					
					636
					
				

			

		

		

			
				
Master实际上是可以配置两个的，Standalone模式下也支持主备切换，也就是说当Active Master节点挂掉的时候，standby Master就会切换为Active Master。

Spark Master主备切换一般常用的有两种机制：一个是基于文件系统的；一个是基于Zookeeper。基于文件系统的主备切换闷在主Master节点挂掉之后，需要手动切换到Standby节点上；而基...

			
		

	





	

		

			

				
					
解决spark单点故障问题——Spark HA部署

				
			

			

				

					博樽
				

				

					03-14
					
					686
					
				

			

		

		

			
				
1. 查看zookeeper 的zoo.cfg文件
2. 配置spark-env.sh 文件（三个节点)
3. 单点故障操作

			
		

	



		

			
		



	

		

			

				
					
大数据问题排查系列 - SPARK STANDALONE HA 模式的一个缺陷点与应对方案

				
			

			

				

					明哥的IT随笔
				

				

					08-18
					
					524
					
				

			

		

		

			
				
大数据问题排查系列 - SPARK STANDALONE HA 模式的一个缺陷点与应对方案
前言
大家好，我是明哥！
作为当今离线批处理模式的扛把子，SPARK 在绝大多数公司的数据处理平台中都是不可或缺的。而在底层使用的具体资源管理器上，SPARK 支持四种模式：

standalone
yarn
mesos
kubernetes

四种模式的简单对比如下图：

以上四种模式中，mesos 在业界使用的最少，其次是 standalone 模式，再次是 yarn 模式。不过随着大数据与云计算日益融合的趋势，

			
		

	





	

		

			

				
					
深度解析Spark技术内幕与大数据环境搭建

				
			

			

				

					
				

			

		

		

			
				
本书《大数据技术之Spark技术内幕》深入剖析了Spark的核心技术原理和应用实践，对于想要深入学习和掌握Spark的读者来说，是一本不可多得的参考书籍。  首先，书中介绍了Spark环境的搭建。Spark环境搭建是进行Spark...

			
		

	





	

		

			

				
					
[解决]Spark集群HA无法正常启动的问题

				
			

			

				

					Ganymede的Hadoop世界
				

				

					02-19
					
					3216
					
				

			

		

		

			
				
[解决]Spark集群HA无法正常启动的问题

			
		

	





	

		

			

				
					
4. Spark源码解析之Master实例化流程解析

				
			

			

				

					L, there!
				

				

					08-01
					
					1031
					
				

			

		

		

			
				
当脚本启动Master流程走到最后的时候，是解析成命令后返回给spark-class的 exec ${CMD[@]} 真正执行，也就是在这里真正开始初始化Master。

这里的命令是：

java -cp ../jar/*org.apache.spark.deploy.master.Master--port 7077 --webui-port 8080



org.apache.spa...

			
		

	





	

		

			

				
					
spark源码分析之Master源码主备切换机制分析

				
			

			

				

					mr_liM的博客
				

				

					08-20
					
					1174
					
				

			

		

		

			
				
Master源码分析之主备切换机制
1.当选为leader之后的操作//ElectedLeader 当选leader
    case ElectedLeader => {
      //从持久化引擎中获取数据，driver,worker,app 的信息
      val (storedApps, storedDrivers, storedWorkers) = persistenceEngine

			
		

	





	

		

			

				
					
大数据学习[05]:Spark高可用配置安装

				
			

			

				

					ld326的专栏
				

				

					09-18
					
					1052
					
				

			

		

		

			
				
摘要：目的是基于zk搭建高可用Spark计算框架；首先安装scala环境；然后，配置spark相关配置文件；最后启动zookeeper，hadoop, spark，查看各个节点的进程情况, 展示demo, 验证spark高可用是怎么一回事。前置linux集群系统配置：[1] 大数据学习前夕[01]:系统-网络-SSH  
JDK环境：[2] 大数据学习前夕[02]:JDK安装升级 
zookeepe

			
		

	





	

		

			

				
					
spark主节点Master挂掉后,备用节点(standby)如何恢复集群状态

				
			

			

				

					u014052851的博客
				

				

					08-20
					
					6470
					
				

			

		

		

			
				
spark恢复,master节点恢复

			
		

	





	

		

			

				
					
Spark---Master启动及Submit任务提交

				
			

			

				

					yaya_jn的博客
				

				

					11-27
					
					1937
					
				

			

		

		

			
				
Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了“start-master.sh”脚本和“start-slaves.sh”脚本，在start-master.sh脚本中可以看到启动Master角色的主类：“org.apache.spark.deploy.master.Master”。每个角色启动之前首先向NettyRpcEnv环境中注册对应的Endpoint，然后启动。

			
		

	





	

		

			

				
					
Spark常见问题汇总

					
热门推荐

				
			

			

				

					木东的博客
				

				

					05-27
					
					1万+
					
				

			

		

		

			
				
spark master和spark worker挂掉application恢复问题



首先分5中情况：

1，spark master进程挂掉了

2，spark master在执行中挂掉了

3，spark worker提交任务前全部挂掉了

4，spark worker在执行application过程中挂掉了

5，spark worker在执行applica

			
		

	





	

		

			

				
					
sparkcheckpoint容错恢复

				
			

			

				

					互联网知识分享
				

				

					08-01
					
					635
					
				

			

		

		

			
				
开启后，当一个任务执行时间过长时，Spark会尝试在其他节点上启动一个相同的任务来替代。RDD.checkpoint()：将RDD的数据进行检查点操作，将数据持久化到可靠的存储系统（如HDFS），以便在节点故障时进行恢复。会通过依赖关系图进行任务调度和重试，并将失败的任务重新分配到可用的节点上执行。RDD.cache()：将RDD的数据缓存到内存中，加速数据的重用和恢复。能够在节点故障或任务执行失败时恢复任务的执行，保证任务的正确性和可靠性。还会在需要时重新计算丢失的数据分区，确保任务的正确执行。

			
		

	





	

		

			

				
					
Spark学习-2.4.0-源码分析-2-Spark 核心篇-Master主备切换机制

				
			

			

				

					pre_tender的博客
				

				

					08-14
					
					551
					
				

			

		

		

			
				
文章目录1. “主备”是什么2. 主备切换机制3. 主备切换流程分析3.1 ZooKeeper切换机制流程3.1.1 在ZooKeeper端中被选举3.1.2  在Master 中接收消息并处理切换3.2 文件系统切换机制流程致谢

1. “主备”是什么
 对于Spark来说，Master实际上可以配置两个，分别为Active Master 和 StandBy Master。而Spark原生的st...

			
		

	





	

		

			

				
					
大数据面试题

				
			

			

				

					iie_libi的博客
				

				

					02-24
					
					473
					
				

			

		

		

			
				
如何实现 hadoop 的安全机制。
1.1 共享 hadoop 集群:
a: 管理人员把开发人员分成了若干个队列，每个队列有一定的资源，每个用户及用户组只能使用
某个队列中指定资源。
b: HDFS 上有各种数据，公用的，私有的，加密的。不用的用户可以访问不同的数据。
1.2 HDFS 安全机制
client 获取 namenode 的初始访问认证( 使用 kerberos )后，会

			
		

	





	

		

			

				
					
了解 Spark中的master、worker和Driver、Executor

				
			

			

				

					nicole_33的博客
				

				

					01-16
					
					4532
					
				

			

		

		

			
				
master和worker是物理节点，是在不同环境部署模式下和资源相关的两大内容
Driver和executor是进程，是在spark应用中和计算相关的两大内容
1、master和worker节点
master节点常驻master守护进程，负责管理worker节点，并且会从master节点提交应用。
worker节点常驻worker守护进程，会与master节点进行通信，并且管理executor进程。
在搭建spark集群时，就已经设置好了master节点和worker节点，一个集群中可以有多个master

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 9

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值