Yarn的资源调度

最新推荐文章于 2025-12-22 16:56:52 发布
原创 最新推荐文章于 2025-12-22 16:56:52 发布 · 698 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #数据仓库 #yarn

本文详细阐述了YARN的资源调度机制，包括ResourceManger、NodeManager和ApplicationMaster的角色，以及不同调度策略。同时介绍了Hive的语法树解析、优化过程和配置选项，强调了配置管理的重要性。

分布式资源调度，管理整个hadoop集群的所有服务器资源

  • ResourceManger

    • 负责处理所有计算资源申请

  • NodeManager

    • 负责资源空间（container）的创建

  • ApplicationMaster

    • 管理计算任务，只有产生了mapreduce计算才会运行ApplicationMaster

    • 负责具体的资源分配

      • map使用多少

      • reduce使用多少

1-mapreduce提交计算任务给RM（ResourceManager）

2-RM中的applicationmanager负责创建applicationMaster进程

3-applicationMaster和applicationmanager保持通讯

4-applicationMaster找RM中的ResourceScheduler(资源调度器)申请计算需要的资源

5-applicationMaster通知对应的NodeManger创建资源空间container

6-在资源空间中先运行map阶段的计算，先运行reduce阶段的计算

7-map和reduce运行期间会将自身状态信息汇报给applicationMaster

8-计算完成后，applicationMaster通知NodeManger释放资源

9-资源释放后再通知applicationmanager把自身(applicationMaster)关闭释放资源

yarn的资源调度策略

当有多个计算任务同时请求yarn进行计算，如何分配资源给每个计算任务？

  • 先进先出

    • 谁先抢到资源谁使用所有资源

    • 资源利用效率低

    • 如果遇到一个计算时间较长的任务，保资源占用后。其他的任务就无法计算

  • 容量调度

    • 将资源分成多份

      • 不同计算任务使用不同的资源大小

  • 公平调度

    • 资源全部给一个计算任务使用，但是当计算任务中的某个map或reduce计算完成后，可以将自身资源释放掉给其他计算任务使用

      • 5个map，其中有两个map计算完成，就可以先释放掉两个资源，给他任务使用，不同等待所有任务计算完成在释放

Hive的语法树

  • 解析器

    • 解析sql关键词转为语法数据

  • 分析器

    • 分析语法格式，字段类型等是否正确

  • 优化器

    • 谓词下推

      • 调整jion和where执行顺序

    • 列值裁剪

  • 执行器

    • 将语法中的逻辑转为mapreduce的计算java代码交给MR执行

Hive配置优化

hive中有三种配置方式

  • 配置文件配置

    • hive的安装目录下的conf目录中的hive-site.xml

    • 全局有效，启动hive后会自动使用配置文件中的配置

    • 文件格式xml

 

  • hive指令配置

 

  •  
    set配置
     
  
    •  
      在sql的操作界面设置
       


 

 

 
 
优先级： set配置 > hive指令配置 > 配置文件
 

 

 
 
set配置只在当前操作界面生效，创建新的连接窗口就是失效了
 
 
日常开发中为了减少配置信息的影响，谁开发谁设置，采用set方式
 

 

 
 
hive的配置属性信息Configuration Properties - Apache Hive - Apache Software Foundation
 


                

        

    


  



    



                



	

		

			

				
					
YARN资源调度

				
			

			

				

					凉茶铺的博客
				

				

					10-09
					
					1059
					
				

			

		

		

			
				
介绍了yarn相关知识

			
		

	



                

            
              



	

		

			

				
					
Yarn资源调度器

				
			

			

				

					阿莫夕林的博客
				

				

					03-28
					
					1842
					
				

			

		

		

			
				
在大数据时代，Hadoop已经成为处理海量数据的首选平台。而Hadoop YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的核心组件，更是为大数据处理提供了强大的资源管理和调度能力。本文将深入探讨YARN的工作原理、核心组件及其在大数据处理中的重要作用。

			
		

	



              


  
  
              

                


	

		

			

				
					
yarn资源调度器

				
			

			

				

					weixin_57342469的博客
				

				

					07-29
					
					1036
					
				

			

		

		

			
				
定义：yarn是一个资源调度平台，负责为运算程序提供扶额u其运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运算于操作系统之上的运用程序。

			
		

	





	

		

			

				
					
YARN资源调度器

				
			

			

				

					金州饿霸吃不饱的博客
				

				

					01-09
					
					1040
					
				

			

		

		

			
				
在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，YARN提供了多种调度器和可配置的策略供选择。FIFO Scheduler（先进先出调度器） ，Capacity Scheduler（容量调度器），Fair Scheduler（公平调度器）。默认情况下，Apache版本YARN使用的是Capacity调度器。如果需要使用其他的调度器，可以在yarn-site.xml中的进行配置，具体的配置方式如下：在YARN中，有。

			
		

	



		

			
		



	

		

			

				
					
YARN 资源调度器

				
			

			

				

					weixin_48649930的博客
				

				

					11-24
					
					1509
					
				

			

		

		

			
				
1.基本架构
资源调度器是 YARN 中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器。
YARN 自带了 FIFO，Capacity Scheduler，Fair Scheduler 三种常用资源调度器，用户也可以按照接口规范编写一个新的资源调度器。
可通过参数 yarn.resourcemanager.scheduler.class 设置资源调度器的主类，默认是 Capacity Scheduler 容量调度器

YARN的资源管理器实际上是一个事件处理器，它需

			
		

	





	

		

			

				
					
yarn资源调度

				
			

			

				

					chenlujun98的博客
				

				

					11-23
					
					497
					
				

			

		

		

			
				
yarn资源调度
1.yarn的介绍：
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。
yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaste

			
		

	





	

		

			

				
					
YARN资源调度原理

				
			

			

				

					刘洋的博客
				

				

					06-23
					
					1101
					
				

			

		

		

			
				
文章目录YARN资源调度器为什么要用Yarn ?Yarn 守护式进程ResourceManager 做什么?理解:NodeMangers 做什么其他解释:Yarn 运行一个应用程序容器:ApplicationMaster提交一个 Application 到 Yarn 的流程1、提交一个MR应用程序2 、ApplicationMaster 资源请求3、容器分配4、ApplicationMaster 分发task5、 运行过程中Yarn 容器生命周期数据本地性总结: 集群资源分配Yarn 容错性Web UIYa

			
		

	





	

		

			

				
					
Yarn资源调度

				
			

			

				

					Emperor_rock的专栏
				

				

					04-22
					
					764
					
				

			

		

		

			
				
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM）

			
		

	





	

		

			

				
					
Yarn 资源调度器

				
			

			

				

					好好学习天天向上 
				

				

					05-04
					
					1149
					
				

			

		

		

			
				
文章目录1 Yarn资源调度器1.1 Yarn基础架构1.2 Yarn工作机制(常见面试题)1.3 作业提交过程Yarn和MapReduce之间的工作流程HDFS和MapReduce之间的工作流程作业提交全过程详解1.4 Yarn调度器和调度算法1.4.1 先进先出调度器(FIFO)1.4.2 容量调度器(Capacity Scheduler)容量调度器特点容量调度器资源分配算法1.4.3 公平调度器(Fair Scheduler)公平调度器特点公平调度器队列资源分配方式
1 Yarn资源调度器
问题：
1

			
		

	





	

		

			

				
					
【Hadoop|YARN篇】yarn资源调度器

				
			

			

				

					2301_80912559的博客
				

				

					09-12
					
					2092
					
				

			

		

		

			
				
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。Yarm是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。

			
		

	





	

		

			

				
					
Hadoop如何用Flink支持实时数据分析需求

				
			

			

				

					yumgpkpm的专栏
				

				

					12-22
					
					371
					
				

			

		

		

			
				
摘要：Cloudera CDP7.3通过集成Kafka、Flink、Kudu等组件构建批流融合架构，支持毫秒级实时数据分析。其核心方案包括Kafka作为消息总线、Flink/Spark Streaming流处理、Kudu+Impala实时存储查询组合，适用于金融风控、实时监控等场景。该平台通过资源隔离、Checkpoint优化等手段提升性能，并支持ML模型实时推理。尽管在ARM架构下存在组件兼容性问题，但整体提供了企业级可治理的实时分析解决方案，尤其适合强监管行业的低延迟需求。

			
		

	





	

		

			

				
					
Hadoop：大数据世界的“古老基石”与“沉默的共生者”

				
			

			

				

					2502_94461061的博客
				

				

					12-22
					
					152
					
				

			

		

		

			
				
你需要看到的，是在每一个云上对象存储服务的设计理念里，在每一个分布式计算框架的资源调度逻辑中，在每一场关于数据湖治理的讨论背后，都或深或浅地映射着那个来自2005年的、朴素的、关于“移动计算而非移动数据”的巨人身影。它像一个沉默的巨人，奠定了我们今天所畅谈的大数据世界的全部物理基础，却也在技术浪潮的迭代中被贴上了“笨重”、“过时”的标签。在Hadoop诞生之前，处理海量数据的思路是集中的、以计算为中心的：将散落在各处的数据，通过网络汇聚到拥有强大计算能力的少数几台“大型机”或“服务器”上进行处理。

			
		

	





	

		

			

				
					
Hadoop 之 NodeManager

				
			

			

				

					zhixingheyi_tian的博客
				

				

					12-22
					
					18
					
				

			

		

		

			
				
【代码】Hadoop 之 NodeManager。

			
		

	





	

		

			

				
					
C# WPF 折线图制作笔记（LiveCharts 库）

				
			

			

				

					weixin_66547608的博客
				

				

					12-22
					
					474
					
				

			

		

		

			
				
本文介绍了使用LiveCharts库在C# WPF中创建折线图的完整流程。主要内容包括：1）开发环境配置（.NET 4.7.2+LiveCharts库）；2）核心组件说明（CartesianChart、SeriesCollection等）；3）详细实现步骤：从安装依赖库、创建用户控件到数据绑定；4）关键特性展示：动态数据更新、折线样式定制和坐标轴配置；5）完整示例代码演示了一个支持实时追加数据的月度销量折线图。文章还提供了常见问题解决方法，并建议了MVVM架构绑定等扩展方向。通过LiveCharts库可快速

			
		

	





	

		

			

				
					
任务一- 2.子任务二：Hadoop完全分布式安装配置

				
			

			

				

					qq_43761012的博客
				

				

					12-18
					
					1014
					
				

			

		

		

			
				
本文介绍了Hadoop 3.2.1完全分布式环境的安装配置过程。主要内容包括：1）在主节点解压Hadoop安装包；2）配置6个核心配置文件(hadoop-env.sh、core-site.xml等)；3）创建必要的Hadoop数据目录；4）将配置好的Hadoop分发到从节点；5）配置环境变量；6）格式化集群并启动HDFS、YARN和历史服务。文中提供了详细的配置参数说明和操作命令，并展示了通过jps命令验证各节点服务启动情况的结果。该配置实现了2个数据副本，关闭了权限检查，并设置了必要的Web UI访问端口

			
		

	





	

		

			

				
					
ETL、数据仓库与数据湖详解

				
			

			

				

					weixin_41312759的博客
				

				

					12-16
					
					814
					
				

			

		

		

			
				
至目标系统的过程，是数据集成与预处理的核心环节。：ETL 指将数据从来源端。数据湖 // 原始数据存储。数据科学 // 探索性分析。数据仓库 // BI报表。传感器/日志/业务DB。

			
		

	





	

		

			

				
					
Spark基础学习笔记06：搭建Spark On YARN集群

				
			

			

				

					howard2005的专栏
				

				

					03-01
					
					1893
					
				

			

		

		

			
				
1. 学会搭建Spark On YARN模式的集群
2. 能够将Spark应用程序提交到集群运行

			
		

	





	

		

			

				
					
SAKURA-CAT_water-tank_43992_1766304728215.zip

				
			

			

				

					12-22
				

			

		

		

			
				
SAKURA-CAT_water-tank_43992_1766304728215.zip

			
		

	





	

		

			

				
					
遗传算法求解函数极值的Matlab实现

					
最新发布

				
			

			

				

					12-22
				

			

		

		

			
				
源码地址： https://pan.quark.cn/s/a4b39357ea24
 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向（最优解）进化，进化过程中，会自动选择优良基因，淘汰劣等基因。
遗传算法（英语：genetic algorithm (GA) ）是计算数学中用于解决最佳化的搜索算法，是进化算法的一种。
进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包括遗传、突变、自然选择、杂交等。
搜索算法的共同特征为： 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解，放弃其他候选解 对保留的候选解进行某些操作，生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值，选出 前 parent_number 个 个体作为 待选 parent 种群（适应度函数的值越小越好） 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。
抽取父母双方的染色体，进行交叉，产生 2 个子代。
（交叉概率） 对子代（parent + 生成的 child）的染色体进行变异。
（变异概率） 重复3,4,5步骤，直到新种群（parentnumber + childnumber）的产生。
循环以上步骤直至找到满意的解。
名词解释 交叉概率：两个个体进行交配的概率。
例如，交配概率为0.8，则80%的“夫妻”会生育后代。
变异概率：所有的基因中发生变异的占总体的比例。
GA函数 适应度函数 适应度函数由解决的问题决定。
举一个平方和的例子。
简单的平方和问题 求函数的最小值，其中每个变量的取值区间都是 [-1, ...

			
		

	





	

		

			

				
					
yarn资源调度流程

				
			

			

				

					11-22
				

			

		

		

			
				
<think>
我们正在回答用户关于Yarn资源调度流程的问题。根据引用内容，Yarn采用双层调度框架，涉及ResourceManager（RM）和ApplicationMaster（AM）的协作，以及Container作为资源抽象的概念。

 步骤1：用户提交应用程序到ResourceManager（RM）。
 步骤2：RM为该应用程序分配第一个Container，并在该Container中启动应用程序的ApplicationMaster（AM）。
 步骤3：AM向RM注册，并申请资源（以Container的形式）。
 步骤4：RM根据调度策略（如FIFO、Capacity、Fair）在可用的NodeManager上分配Container，并返回给AM。
 步骤5：AM将任务分配给这些Container，并与NodeManager通信以启动任务。
 步骤6：在任务执行过程中，AM可以动态申请更多资源或释放资源。
 步骤7：任务执行完成后，AM向RM注销，释放所有资源。

 注意：在资源不足时，RM会为任务预留资源（Reservation），直到资源足够。

 引用[1]和[2]提供了关键信息：Container是Yarn中资源的抽象，封装了内存、CPU等资源。RM将资源分配给AM，AM再进一步分配给任务。

 根据引用[3]，这似乎是一条Hadoop classpath的命令行输出，与调度流程关系不大，因此我们主要参考前两个引用。

 我们按照步骤详细说明，并确保使用正确的LaTeX格式（行内公式用$...$，独立公式用$$...$$）以及中文回答。同时，在回答末尾生成相关问题。

 由于用户要求“回答中引用的段落末尾自然地添加引用标识”，我们在引用[1]和[2]的地方添加引用标记。

 现在，我们开始撰写回答。
</think>### Yarn资源调度流程详解

Yarn采用**双层调度框架**，其核心流程如下：

1. **应用程序提交**  
   用户向ResourceManager（RM）提交应用程序（如MapReduce作业），RM会分配一个唯一的**Application ID**给该应用，并创建对应的**ApplicationMaster（AM）**。AM负责整个应用的生命周期管理[^1]。

2. **AM资源申请**  
   AM启动后向RM注册，并通过**ResourceRequest**机制申请资源（内存、CPU等）。RM收到请求后，根据调度策略（FIFO/Capacity/Fair）将资源封装为**Container**（Yarn的资源抽象单位）[^2]。  
   $$ \text{ResourceRequest} \rightarrow \text{调度器} \rightarrow \text{Container分配} $$

3. **Container分配与启动**  
   - RM将Container分配结果通过**AllocateResponse**返回给AM
   - AM与对应节点的**NodeManager（NM）**通信，发送**ContainerLaunchContext**启动任务
   - NM在Container中执行具体任务（如MapTask/ReduceTask）[^1][^2]

4. **资源预留机制**  
   当资源不足时，调度器会为AM的请求**预留资源**（Reservation），直到集群有足够资源满足请求[^1]。例如：
   ```plaintext
   AM申请: 4个Container(各4GB内存) → 当前只有10GB可用 → 预留2个Container
   ```

5. **动态资源调整**  
   AM可运行时动态调整资源请求：
   - 申请更多Container（水平扩展）
   - 释放空闲Container（资源回收）
   - 变更Container规格（垂直扩缩容）[^2]

6. **任务完成与清理**  
   - 所有任务完成后，AM向RM注销应用
   - RM回收所有Container资源
   - 清理NM上的临时数据

### 关键组件作用
| 组件 | 功能 | 资源管理方式 |
|------|------|--------------|
| **ResourceManager** | 全局资源调度器 | 分配Container给AM |
| **ApplicationMaster** | 应用级调度器 | 将Container分配给具体Task |
| **NodeManager** | 节点资源监控 | 启动/监控Container |
| **Container** | 资源抽象 | 封装CPU、内存等资源[^2] |



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值