Yarn的资源调度

最新推荐文章于 2025-12-18 08:47:14 发布
原创 最新推荐文章于 2025-12-18 08:47:14 发布 · 698 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #数据仓库 #yarn

本文详细阐述了YARN的资源调度机制，包括ResourceManger、NodeManager和ApplicationMaster的角色，以及不同调度策略。同时介绍了Hive的语法树解析、优化过程和配置选项，强调了配置管理的重要性。

分布式资源调度，管理整个hadoop集群的所有服务器资源

  • ResourceManger

    • 负责处理所有计算资源申请

  • NodeManager

    • 负责资源空间（container）的创建

  • ApplicationMaster

    • 管理计算任务，只有产生了mapreduce计算才会运行ApplicationMaster

    • 负责具体的资源分配

      • map使用多少

      • reduce使用多少

1-mapreduce提交计算任务给RM（ResourceManager）

2-RM中的applicationmanager负责创建applicationMaster进程

3-applicationMaster和applicationmanager保持通讯

4-applicationMaster找RM中的ResourceScheduler(资源调度器)申请计算需要的资源

5-applicationMaster通知对应的NodeManger创建资源空间container

6-在资源空间中先运行map阶段的计算，先运行reduce阶段的计算

7-map和reduce运行期间会将自身状态信息汇报给applicationMaster

8-计算完成后，applicationMaster通知NodeManger释放资源

9-资源释放后再通知applicationmanager把自身(applicationMaster)关闭释放资源

yarn的资源调度策略

当有多个计算任务同时请求yarn进行计算，如何分配资源给每个计算任务？

  • 先进先出

    • 谁先抢到资源谁使用所有资源

    • 资源利用效率低

    • 如果遇到一个计算时间较长的任务，保资源占用后。其他的任务就无法计算

  • 容量调度

    • 将资源分成多份

      • 不同计算任务使用不同的资源大小

  • 公平调度

    • 资源全部给一个计算任务使用，但是当计算任务中的某个map或reduce计算完成后，可以将自身资源释放掉给其他计算任务使用

      • 5个map，其中有两个map计算完成，就可以先释放掉两个资源，给他任务使用，不同等待所有任务计算完成在释放

Hive的语法树

  • 解析器

    • 解析sql关键词转为语法数据

  • 分析器

    • 分析语法格式，字段类型等是否正确

  • 优化器

    • 谓词下推

      • 调整jion和where执行顺序

    • 列值裁剪

  • 执行器

    • 将语法中的逻辑转为mapreduce的计算java代码交给MR执行

Hive配置优化

hive中有三种配置方式

  • 配置文件配置

    • hive的安装目录下的conf目录中的hive-site.xml

    • 全局有效，启动hive后会自动使用配置文件中的配置

    • 文件格式xml

 

  • hive指令配置

 

  •  
    set配置
     
  
    •  
      在sql的操作界面设置
       


 

 

 
 
优先级： set配置 > hive指令配置 > 配置文件
 

 

 
 
set配置只在当前操作界面生效，创建新的连接窗口就是失效了
 
 
日常开发中为了减少配置信息的影响，谁开发谁设置，采用set方式
 

 

 
 
hive的配置属性信息Configuration Properties - Apache Hive - Apache Software Foundation
 


                

        

    


  



    



                



	

		

			

				
					
YARN资源调度

				
			

			

				

					凉茶铺的博客
				

				

					10-09
					
					1059
					
				

			

		

		

			
				
介绍了yarn相关知识

			
		

	



                

            
              



	

		

			

				
					
Yarn资源调度器

				
			

			

				

					阿莫夕林的博客
				

				

					03-28
					
					1842
					
				

			

		

		

			
				
在大数据时代，Hadoop已经成为处理海量数据的首选平台。而Hadoop YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的核心组件，更是为大数据处理提供了强大的资源管理和调度能力。本文将深入探讨YARN的工作原理、核心组件及其在大数据处理中的重要作用。

			
		

	



              


  
              

                


	

		

			

				
					
yarn资源调度器

				
			

			

				

					weixin_57342469的博客
				

				

					07-29
					
					1036
					
				

			

		

		

			
				
定义：yarn是一个资源调度平台，负责为运算程序提供扶额u其运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运算于操作系统之上的运用程序。

			
		

	





	

		

			

				
					
YARN资源调度器

				
			

			

				

					金州饿霸吃不饱的博客
				

				

					01-09
					
					1039
					
				

			

		

		

			
				
在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，YARN提供了多种调度器和可配置的策略供选择。FIFO Scheduler（先进先出调度器） ，Capacity Scheduler（容量调度器），Fair Scheduler（公平调度器）。默认情况下，Apache版本YARN使用的是Capacity调度器。如果需要使用其他的调度器，可以在yarn-site.xml中的进行配置，具体的配置方式如下：在YARN中，有。

			
		

	



		

			
		



	

		

			

				
					
YARN 资源调度器

				
			

			

				

					weixin_48649930的博客
				

				

					11-24
					
					1509
					
				

			

		

		

			
				
1.基本架构
资源调度器是 YARN 中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器。
YARN 自带了 FIFO，Capacity Scheduler，Fair Scheduler 三种常用资源调度器，用户也可以按照接口规范编写一个新的资源调度器。
可通过参数 yarn.resourcemanager.scheduler.class 设置资源调度器的主类，默认是 Capacity Scheduler 容量调度器

YARN的资源管理器实际上是一个事件处理器，它需

			
		

	





	

		

			

				
					
yarn资源调度

				
			

			

				

					chenlujun98的博客
				

				

					11-23
					
					497
					
				

			

		

		

			
				
yarn资源调度
1.yarn的介绍：
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。
yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaste

			
		

	





	

		

			

				
					
YARN资源调度原理

				
			

			

				

					刘洋的博客
				

				

					06-23
					
					1101
					
				

			

		

		

			
				
文章目录YARN资源调度器为什么要用Yarn ?Yarn 守护式进程ResourceManager 做什么?理解:NodeMangers 做什么其他解释:Yarn 运行一个应用程序容器:ApplicationMaster提交一个 Application 到 Yarn 的流程1、提交一个MR应用程序2 、ApplicationMaster 资源请求3、容器分配4、ApplicationMaster 分发task5、 运行过程中Yarn 容器生命周期数据本地性总结: 集群资源分配Yarn 容错性Web UIYa

			
		

	





	

		

			

				
					
Yarn资源调度

				
			

			

				

					Emperor_rock的专栏
				

				

					04-22
					
					764
					
				

			

		

		

			
				
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM）

			
		

	





	

		

			

				
					
Yarn 资源调度器

				
			

			

				

					好好学习天天向上 
				

				

					05-04
					
					1149
					
				

			

		

		

			
				
文章目录1 Yarn资源调度器1.1 Yarn基础架构1.2 Yarn工作机制(常见面试题)1.3 作业提交过程Yarn和MapReduce之间的工作流程HDFS和MapReduce之间的工作流程作业提交全过程详解1.4 Yarn调度器和调度算法1.4.1 先进先出调度器(FIFO)1.4.2 容量调度器(Capacity Scheduler)容量调度器特点容量调度器资源分配算法1.4.3 公平调度器(Fair Scheduler)公平调度器特点公平调度器队列资源分配方式
1 Yarn资源调度器
问题：
1

			
		

	





	

		

			

				
					
【Hadoop|YARN篇】yarn资源调度器

				
			

			

				

					2301_80912559的博客
				

				

					09-12
					
					2092
					
				

			

		

		

			
				
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。Yarm是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。

			
		

	





	

		

			

				
					
AI大模型手机的“简单替换陷阱”与Hadoop、Cloudera CDP 7大数据底座的关系探析

				
			

			

				

					yumgpkpm的专栏
				

				

					12-16
					
					948
					
				

			

		

		

			
				
本文探讨了AI手机发展中的"简单替换陷阱"现象与Hadoop大数据底座的相互关系。研究发现，当前AI手机仅简单替换传统功能模块而未重构系统架构，导致数据质量下降、资源浪费等问题。同时指出Hadoop作为AI训练的数据基础，其存储、批处理等核心功能仍不可替代。文章通过华为与苹果的案例对比，提出需构建"端-云协同"的智能体系，实现从"功能AI"到"系统AI"的转变，使Hadoop成为连接终端与云端的关键枢纽，从而真正释放AI潜力。

			
		

	





	

		

			

				
					
任务一- 2.子任务二：Hadoop完全分布式安装配置

				
			

			

				

					qq_43761012的博客
				

				

					12-18
					
					1014
					
				

			

		

		

			
				
本文介绍了Hadoop 3.2.1完全分布式环境的安装配置过程。主要内容包括：1）在主节点解压Hadoop安装包；2）配置6个核心配置文件(hadoop-env.sh、core-site.xml等)；3）创建必要的Hadoop数据目录；4）将配置好的Hadoop分发到从节点；5）配置环境变量；6）格式化集群并启动HDFS、YARN和历史服务。文中提供了详细的配置参数说明和操作命令，并展示了通过jps命令验证各节点服务启动情况的结果。该配置实现了2个数据副本，关闭了权限检查，并设置了必要的Web UI访问端口

			
		

	





	

		

			

				
					
ETL、数据仓库与数据湖详解

				
			

			

				

					weixin_41312759的博客
				

				

					12-16
					
					812
					
				

			

		

		

			
				
至目标系统的过程，是数据集成与预处理的核心环节。：ETL 指将数据从来源端。数据湖 // 原始数据存储。数据科学 // 探索性分析。数据仓库 // BI报表。传感器/日志/业务DB。

			
		

	





	

		

			

				
					
Spark基础学习笔记06：搭建Spark On YARN集群

				
			

			

				

					howard2005的专栏
				

				

					03-01
					
					1893
					
				

			

		

		

			
				
1. 学会搭建Spark On YARN模式的集群
2. 能够将Spark应用程序提交到集群运行

			
		

	





	

		

			

				
					
【嵌入式AIoT】系统架构与轻量化模型部署：面向智能家居与工业监测的边缘智能终端实战设计

				
			

			

				

					12-21
				

			

		

		

			
				
内容概要：本文系统介绍了嵌入式AIoT应用场景的实战方法与实践路径，涵盖从场景选择、系统架构设计到AI模型部署、通信与数据管理的全流程。重点阐述了嵌入式系统与人工智能、物联网技术的融合，强调在资源受限环境下实现感知、分析与决策一体化的智能终端系统。文章详细解析了感知层、边缘计算层和云端服务层的协同机制，突出边缘侧数据处理与轻量化AI模型优化的重要性，并倡导以实际需求为导向，避免“为AI而AI”的设计误区。同时，强调系统稳定性、远程维护和长期运行能力的建设。;  
适合人群：具备嵌入式系统基础、物联网或AI相关背景，有一定开发经验的工程师或工作1-3年的技术研发人员；适用于希望深入理解AIoT系统集成与实战落地的学习者。;  
使用场景及目标：①智能家居、工业监测、智慧农业等分布式智能系统开发；②在算力、功耗受限的嵌入式设备上实现AI推理与边缘智能；③构建高效、可靠、可维护的端云协同AIoT系统。;  
阅读建议：建议结合实际硬件平台进行项目化学习，边学边练，重点关注系统架构设计、模型优化与通信协议选型，注重整体系统思维的培养，而非仅关注单一技术点。

			
		

	





	

		

			

				
					
基于Python 的UART 文件传输工具

					
最新发布

				
			

			

				

					12-21
				

			

		

		

			
				
基于Python 的UART 文件传输工具，基于Pyside6的GUI界面

			
		

	





	

		

			

				
					
C# 基于 Onnx 与 P2PNet 的人群检测与计数系统源码实现

				
			

			

				

					12-21
				

			

		

		

			
				
基于C#编程语言与Onnx运行时环境，本文档详细阐述了一种利用P2PNet架构实现人群密度估计与个体计数的技术方案。该方案通过解析预训练模型，实现了对图像或视频流中人群分布的精准检测，并提供了可靠的计数功能。核心内容包括模型加载与推理流程的完整实现、数据处理管道的构建以及性能优化策略的探讨。本文旨在为相关领域的开发人员提供一个清晰、可复现的参考实现，着重于工程实践的严谨性与代码模块的可用性。所有实现代码均经过结构化组织与详细注释，以确保其易于理解与集成。
资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！

			
		

	





	

		

			

				
					
Theoretical Machine Learning Notes (Princeton COS511)

				
			

			

				

					12-21
				

			

		

		

			
				
根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结（summarization） 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签，可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...

			
		

	





	

		

			

				
					
食堂线上预约点餐系统_一个基于现代Web技术构建的面向学校企业及园区食堂的综合性数字化餐饮服务平台_该系统旨在通过线上化流程彻底革新传统食堂就餐模式_核心功能模块包括用户端小程序.zip

				
			

			

				

					12-21
				

			

		

		

			
				
食堂线上预约点餐系统_一个基于现代Web技术构建的面向学校企业及园区食堂的综合性数字化餐饮服务平台_该系统旨在通过线上化流程彻底革新传统食堂就餐模式_核心功能模块包括用户端小程序.zip

			
		

	





	

		

			

				
					
yarn资源调度流程

				
			

			

				

					11-22
				

			

		

		

			
				
<think>
我们正在回答用户关于Yarn资源调度流程的问题。根据引用内容，Yarn采用双层调度框架，涉及ResourceManager（RM）和ApplicationMaster（AM）的协作，以及Container作为资源抽象的概念。

 步骤1：用户提交应用程序到ResourceManager（RM）。
 步骤2：RM为该应用程序分配第一个Container，并在该Container中启动应用程序的ApplicationMaster（AM）。
 步骤3：AM向RM注册，并申请资源（以Container的形式）。
 步骤4：RM根据调度策略（如FIFO、Capacity、Fair）在可用的NodeManager上分配Container，并返回给AM。
 步骤5：AM将任务分配给这些Container，并与NodeManager通信以启动任务。
 步骤6：在任务执行过程中，AM可以动态申请更多资源或释放资源。
 步骤7：任务执行完成后，AM向RM注销，释放所有资源。

 注意：在资源不足时，RM会为任务预留资源（Reservation），直到资源足够。

 引用[1]和[2]提供了关键信息：Container是Yarn中资源的抽象，封装了内存、CPU等资源。RM将资源分配给AM，AM再进一步分配给任务。

 根据引用[3]，这似乎是一条Hadoop classpath的命令行输出，与调度流程关系不大，因此我们主要参考前两个引用。

 我们按照步骤详细说明，并确保使用正确的LaTeX格式（行内公式用$...$，独立公式用$$...$$）以及中文回答。同时，在回答末尾生成相关问题。

 由于用户要求“回答中引用的段落末尾自然地添加引用标识”，我们在引用[1]和[2]的地方添加引用标记。

 现在，我们开始撰写回答。
</think>### Yarn资源调度流程详解

Yarn采用**双层调度框架**，其核心流程如下：

1. **应用程序提交**  
   用户向ResourceManager（RM）提交应用程序（如MapReduce作业），RM会分配一个唯一的**Application ID**给该应用，并创建对应的**ApplicationMaster（AM）**。AM负责整个应用的生命周期管理[^1]。

2. **AM资源申请**  
   AM启动后向RM注册，并通过**ResourceRequest**机制申请资源（内存、CPU等）。RM收到请求后，根据调度策略（FIFO/Capacity/Fair）将资源封装为**Container**（Yarn的资源抽象单位）[^2]。  
   $$ \text{ResourceRequest} \rightarrow \text{调度器} \rightarrow \text{Container分配} $$

3. **Container分配与启动**  
   - RM将Container分配结果通过**AllocateResponse**返回给AM
   - AM与对应节点的**NodeManager（NM）**通信，发送**ContainerLaunchContext**启动任务
   - NM在Container中执行具体任务（如MapTask/ReduceTask）[^1][^2]

4. **资源预留机制**  
   当资源不足时，调度器会为AM的请求**预留资源**（Reservation），直到集群有足够资源满足请求[^1]。例如：
   ```plaintext
   AM申请: 4个Container(各4GB内存) → 当前只有10GB可用 → 预留2个Container
   ```

5. **动态资源调整**  
   AM可运行时动态调整资源请求：
   - 申请更多Container（水平扩展）
   - 释放空闲Container（资源回收）
   - 变更Container规格（垂直扩缩容）[^2]

6. **任务完成与清理**  
   - 所有任务完成后，AM向RM注销应用
   - RM回收所有Container资源
   - 清理NM上的临时数据

### 关键组件作用
| 组件 | 功能 | 资源管理方式 |
|------|------|--------------|
| **ResourceManager** | 全局资源调度器 | 分配Container给AM |
| **ApplicationMaster** | 应用级调度器 | 将Container分配给具体Task |
| **NodeManager** | 节点资源监控 | 启动/监控Container |
| **Container** | 资源抽象 | 封装CPU、内存等资源[^2] |



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值