Yarn的资源调度

最新推荐文章于 2025-12-22 16:56:52 发布
原创 最新推荐文章于 2025-12-22 16:56:52 发布 · 698 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #数据仓库 #yarn

本文详细阐述了YARN的资源调度机制，包括ResourceManger、NodeManager和ApplicationMaster的角色，以及不同调度策略。同时介绍了Hive的语法树解析、优化过程和配置选项，强调了配置管理的重要性。

分布式资源调度，管理整个hadoop集群的所有服务器资源

  • ResourceManger

    • 负责处理所有计算资源申请

  • NodeManager

    • 负责资源空间（container）的创建

  • ApplicationMaster

    • 管理计算任务，只有产生了mapreduce计算才会运行ApplicationMaster

    • 负责具体的资源分配

      • map使用多少

      • reduce使用多少

1-mapreduce提交计算任务给RM（ResourceManager）

2-RM中的applicationmanager负责创建applicationMaster进程

3-applicationMaster和applicationmanager保持通讯

4-applicationMaster找RM中的ResourceScheduler(资源调度器)申请计算需要的资源

5-applicationMaster通知对应的NodeManger创建资源空间container

6-在资源空间中先运行map阶段的计算，先运行reduce阶段的计算

7-map和reduce运行期间会将自身状态信息汇报给applicationMaster

8-计算完成后，applicationMaster通知NodeManger释放资源

9-资源释放后再通知applicationmanager把自身(applicationMaster)关闭释放资源

yarn的资源调度策略

当有多个计算任务同时请求yarn进行计算，如何分配资源给每个计算任务？

  • 先进先出

    • 谁先抢到资源谁使用所有资源

    • 资源利用效率低

    • 如果遇到一个计算时间较长的任务，保资源占用后。其他的任务就无法计算

  • 容量调度

    • 将资源分成多份

      • 不同计算任务使用不同的资源大小

  • 公平调度

    • 资源全部给一个计算任务使用，但是当计算任务中的某个map或reduce计算完成后，可以将自身资源释放掉给其他计算任务使用

      • 5个map，其中有两个map计算完成，就可以先释放掉两个资源，给他任务使用，不同等待所有任务计算完成在释放

Hive的语法树

  • 解析器

    • 解析sql关键词转为语法数据

  • 分析器

    • 分析语法格式，字段类型等是否正确

  • 优化器

    • 谓词下推

      • 调整jion和where执行顺序

    • 列值裁剪

  • 执行器

    • 将语法中的逻辑转为mapreduce的计算java代码交给MR执行

Hive配置优化

hive中有三种配置方式

  • 配置文件配置

    • hive的安装目录下的conf目录中的hive-site.xml

    • 全局有效，启动hive后会自动使用配置文件中的配置

    • 文件格式xml

 

  • hive指令配置

 

  •  
    set配置
     
  
    •  
      在sql的操作界面设置
       


 

 

 
 
优先级： set配置 > hive指令配置 > 配置文件
 

 

 
 
set配置只在当前操作界面生效，创建新的连接窗口就是失效了
 
 
日常开发中为了减少配置信息的影响，谁开发谁设置，采用set方式
 

 

 
 
hive的配置属性信息Configuration Properties - Apache Hive - Apache Software Foundation
 


                

        

    


  



    



                



	

		

			

				
					
YARN资源调度

				
			

			

				

					凉茶铺的博客
				

				

					10-09
					
					1059
					
				

			

		

		

			
				
介绍了yarn相关知识

			
		

	



                

            
              



	

		

			

				
					
yarn资源调度器

				
			

			

				

					weixin_57342469的博客
				

				

					07-29
					
					1036
					
				

			

		

		

			
				
定义：yarn是一个资源调度平台，负责为运算程序提供扶额u其运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运算于操作系统之上的运用程序。

			
		

	



              


  
              

                


	

		

			

				
					
Yarn资源调度器

				
			

			

				

					阿莫夕林的博客
				

				

					03-28
					
					1843
					
				

			

		

		

			
				
在大数据时代，Hadoop已经成为处理海量数据的首选平台。而Hadoop YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的核心组件，更是为大数据处理提供了强大的资源管理和调度能力。本文将深入探讨YARN的工作原理、核心组件及其在大数据处理中的重要作用。

			
		

	





	

		

			

				
					
YARN资源调度器

				
			

			

				

					金州饿霸吃不饱的博客
				

				

					01-09
					
					1040
					
				

			

		

		

			
				
在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，YARN提供了多种调度器和可配置的策略供选择。FIFO Scheduler（先进先出调度器） ，Capacity Scheduler（容量调度器），Fair Scheduler（公平调度器）。默认情况下，Apache版本YARN使用的是Capacity调度器。如果需要使用其他的调度器，可以在yarn-site.xml中的进行配置，具体的配置方式如下：在YARN中，有。

			
		

	



		

			
		



	

		

			

				
					
YARN 资源调度器

				
			

			

				

					weixin_48649930的博客
				

				

					11-24
					
					1509
					
				

			

		

		

			
				
1.基本架构
资源调度器是 YARN 中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器。
YARN 自带了 FIFO，Capacity Scheduler，Fair Scheduler 三种常用资源调度器，用户也可以按照接口规范编写一个新的资源调度器。
可通过参数 yarn.resourcemanager.scheduler.class 设置资源调度器的主类，默认是 Capacity Scheduler 容量调度器

YARN的资源管理器实际上是一个事件处理器，它需

			
		

	





	

		

			

				
					
yarn资源调度

				
			

			

				

					chenlujun98的博客
				

				

					11-23
					
					497
					
				

			

		

		

			
				
yarn资源调度
1.yarn的介绍：
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。
yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaste

			
		

	





	

		

			

				
					
YARN资源调度原理

				
			

			

				

					刘洋的博客
				

				

					06-23
					
					1101
					
				

			

		

		

			
				
文章目录YARN资源调度器为什么要用Yarn ?Yarn 守护式进程ResourceManager 做什么?理解:NodeMangers 做什么其他解释:Yarn 运行一个应用程序容器:ApplicationMaster提交一个 Application 到 Yarn 的流程1、提交一个MR应用程序2 、ApplicationMaster 资源请求3、容器分配4、ApplicationMaster 分发task5、 运行过程中Yarn 容器生命周期数据本地性总结: 集群资源分配Yarn 容错性Web UIYa

			
		

	





	

		

			

				
					
Yarn资源调度

				
			

			

				

					Emperor_rock的专栏
				

				

					04-22
					
					764
					
				

			

		

		

			
				
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM）

			
		

	





	

		

			

				
					
Yarn 资源调度器

				
			

			

				

					好好学习天天向上 
				

				

					05-04
					
					1149
					
				

			

		

		

			
				
文章目录1 Yarn资源调度器1.1 Yarn基础架构1.2 Yarn工作机制(常见面试题)1.3 作业提交过程Yarn和MapReduce之间的工作流程HDFS和MapReduce之间的工作流程作业提交全过程详解1.4 Yarn调度器和调度算法1.4.1 先进先出调度器(FIFO)1.4.2 容量调度器(Capacity Scheduler)容量调度器特点容量调度器资源分配算法1.4.3 公平调度器(Fair Scheduler)公平调度器特点公平调度器队列资源分配方式
1 Yarn资源调度器
问题：
1

			
		

	





	

		

			

				
					
【Hadoop|YARN篇】yarn资源调度器

				
			

			

				

					2301_80912559的博客
				

				

					09-12
					
					2093
					
				

			

		

		

			
				
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。Yarm是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。

			
		

	





	

		

			

				
					
Hadoop如何用Flink支持实时数据分析需求

				
			

			

				

					yumgpkpm的专栏
				

				

					12-22
					
					455
					
				

			

		

		

			
				
摘要：Cloudera CDP7.3通过集成Kafka、Flink、Kudu等组件构建批流融合架构，支持毫秒级实时数据分析。其核心方案包括Kafka作为消息总线、Flink/Spark Streaming流处理、Kudu+Impala实时存储查询组合，适用于金融风控、实时监控等场景。该平台通过资源隔离、Checkpoint优化等手段提升性能，并支持ML模型实时推理。尽管在ARM架构下存在组件兼容性问题，但整体提供了企业级可治理的实时分析解决方案，尤其适合强监管行业的低延迟需求。

			
		

	





	

		

			

				
					
Hadoop：大数据世界的“古老基石”与“沉默的共生者”

				
			

			

				

					2502_94461061的博客
				

				

					12-22
					
					385
					
				

			

		

		

			
				
你需要看到的，是在每一个云上对象存储服务的设计理念里，在每一个分布式计算框架的资源调度逻辑中，在每一场关于数据湖治理的讨论背后，都或深或浅地映射着那个来自2005年的、朴素的、关于“移动计算而非移动数据”的巨人身影。它像一个沉默的巨人，奠定了我们今天所畅谈的大数据世界的全部物理基础，却也在技术浪潮的迭代中被贴上了“笨重”、“过时”的标签。在Hadoop诞生之前，处理海量数据的思路是集中的、以计算为中心的：将散落在各处的数据，通过网络汇聚到拥有强大计算能力的少数几台“大型机”或“服务器”上进行处理。

			
		

	





	

		

			

				
					
Hadoop 之 NodeManager

				
			

			

				

					zhixingheyi_tian的博客
				

				

					12-22
					
					26
					
				

			

		

		

			
				
【代码】Hadoop 之 NodeManager。

			
		

	





	

		

			

				
					
C# WPF 折线图制作笔记（LiveCharts 库）

				
			

			

				

					weixin_66547608的博客
				

				

					12-22
					
					496
					
				

			

		

		

			
				
本文介绍了使用LiveCharts库在C# WPF中创建折线图的完整流程。主要内容包括：1）开发环境配置（.NET 4.7.2+LiveCharts库）；2）核心组件说明（CartesianChart、SeriesCollection等）；3）详细实现步骤：从安装依赖库、创建用户控件到数据绑定；4）关键特性展示：动态数据更新、折线样式定制和坐标轴配置；5）完整示例代码演示了一个支持实时追加数据的月度销量折线图。文章还提供了常见问题解决方法，并建议了MVVM架构绑定等扩展方向。通过LiveCharts库可快速

			
		

	





	

		

			

				
					
ETL、数据仓库与数据湖详解

				
			

			

				

					weixin_41312759的博客
				

				

					12-16
					
					825
					
				

			

		

		

			
				
至目标系统的过程，是数据集成与预处理的核心环节。：ETL 指将数据从来源端。数据湖 // 原始数据存储。数据科学 // 探索性分析。数据仓库 // BI报表。传感器/日志/业务DB。

			
		

	





	

		

			

				
					
Spark基础学习笔记06：搭建Spark On YARN集群

				
			

			

				

					howard2005的专栏
				

				

					03-01
					
					1894
					
				

			

		

		

			
				
1. 学会搭建Spark On YARN模式的集群
2. 能够将Spark应用程序提交到集群运行

			
		

	





	

		

			

				
					
JAVA面试题示例：== 和 equals 的区别

					
最新发布

				
			

			

				

					12-22
				

			

		

		

			
				
JAVA面试题示例：== 和 equals 的区别

			
		

	





	

		

			

				
					
智慧养老基于C++的养老院管理系统设计：融合AI风险预测与多终端协同的智能化服务调度平台开发 项目介绍 基于 C++的养老院管理系统设计与实现（含模型描述及部分示例代码）

				
			

			

				

					12-22
				

			

		

		

			
				
内容概要：本文详细介绍了一个基于C++的养老院管理系统的设计与实现，旨在应对人口老龄化带来的管理挑战。系统通过整合住户档案、健康监测、护理计划、任务调度等核心功能，构建了从数据采集、清洗、AI风险预测到服务调度与可视化的完整技术架构。采用C++高性能服务端结合消息队列、规则引擎和机器学习模型，实现了健康状态实时监控、智能任务分配、异常告警推送等功能，并解决了多源数据整合、权限安全、老旧硬件兼容等实际问题。系统支持模块化扩展与流程自定义，提升了养老服务效率、医护协同水平和住户安全保障，同时为运营决策提供数据支持。文中还提供了关键模块的代码示例，如健康指数算法、任务调度器和日志记录组件。;  
适合人群：具备C++编程基础，从事软件开发或系统设计工作1-3年的研发人员，尤其是关注智慧养老、医疗信息系统开发的技术人员。;  
使用场景及目标：①学习如何在真实项目中应用C++构建高性能、可扩展的管理系统；②掌握多源数据整合、实时健康监控、任务调度与权限控制等复杂业务的技术实现方案；③了解AI模型在养老场景中的落地方式及系统架构设计思路。;  
阅读建议：此资源不仅包含系统架构与模型描述，还附有核心代码片段，建议结合整体设计逻辑深入理解各模块之间的协同机制，并可通过重构或扩展代码来加深对系统工程实践的掌握。

			
		

	





	

		

			

				
					
智能交通基于C++的交通流量分析系统：多源数据融合与可视化模型设计 项目介绍 基于 C++的城市交通流量数据可视化分析系统设计与实现（含模型描述及部分示例代码）

				
			

			

				

					12-22
				

			

		

		

			
				
内容概要：本文详细介绍了一个基于C++的城市交通流量数据可视化分析系统的设计与实现。系统涵盖数据采集与预处理、存储与管理、分析建模、可视化展示、系统集成扩展以及数据安全与隐私保护六大核心模块。通过多源异构数据融合、高效存储检索、实时处理分析、高交互性可视化界面及模块化架构设计，实现了对城市交通流量的实时监控、历史趋势分析与智能决策支持。文中还提供了关键模块的C++代码示例，如数据采集、清洗、CSV读写、流量统计、异常检测及基于SFML的柱状图绘制，增强了系统的可实现性与实用性。;  
适合人群：具备C++编程基础，熟悉数据结构与算法，有一定项目开发经验的高校学生、研究人员及从事智能交通系统开发的工程师；适合对大数据处理、可视化技术和智慧城市应用感兴趣的技术人员。;  
使用场景及目标：①应用于城市交通管理部门，实现交通流量实时监测与拥堵预警；②为市民出行提供路径优化建议；③支持交通政策制定与信号灯配时优化；④作为智慧城市建设中的智能交通子系统，实现与其他城市系统的数据协同。;  
阅读建议：建议结合文中代码示例搭建开发环境进行实践，重点关注多线程数据采集、异常检测算法与可视化实现细节；可进一步扩展机器学习模型用于流量预测，并集成真实交通数据源进行系统验证。

			
		

	





	

		

			

				
					
yarn资源调度流程

				
			

			

				

					11-22
				

			

		

		

			
				
<think>
我们正在回答用户关于Yarn资源调度流程的问题。根据引用内容，Yarn采用双层调度框架，涉及ResourceManager（RM）和ApplicationMaster（AM）的协作，以及Container作为资源抽象的概念。

 步骤1：用户提交应用程序到ResourceManager（RM）。
 步骤2：RM为该应用程序分配第一个Container，并在该Container中启动应用程序的ApplicationMaster（AM）。
 步骤3：AM向RM注册，并申请资源（以Container的形式）。
 步骤4：RM根据调度策略（如FIFO、Capacity、Fair）在可用的NodeManager上分配Container，并返回给AM。
 步骤5：AM将任务分配给这些Container，并与NodeManager通信以启动任务。
 步骤6：在任务执行过程中，AM可以动态申请更多资源或释放资源。
 步骤7：任务执行完成后，AM向RM注销，释放所有资源。

 注意：在资源不足时，RM会为任务预留资源（Reservation），直到资源足够。

 引用[1]和[2]提供了关键信息：Container是Yarn中资源的抽象，封装了内存、CPU等资源。RM将资源分配给AM，AM再进一步分配给任务。

 根据引用[3]，这似乎是一条Hadoop classpath的命令行输出，与调度流程关系不大，因此我们主要参考前两个引用。

 我们按照步骤详细说明，并确保使用正确的LaTeX格式（行内公式用$...$，独立公式用$$...$$）以及中文回答。同时，在回答末尾生成相关问题。

 由于用户要求“回答中引用的段落末尾自然地添加引用标识”，我们在引用[1]和[2]的地方添加引用标记。

 现在，我们开始撰写回答。
</think>### Yarn资源调度流程详解

Yarn采用**双层调度框架**，其核心流程如下：

1. **应用程序提交**  
   用户向ResourceManager（RM）提交应用程序（如MapReduce作业），RM会分配一个唯一的**Application ID**给该应用，并创建对应的**ApplicationMaster（AM）**。AM负责整个应用的生命周期管理[^1]。

2. **AM资源申请**  
   AM启动后向RM注册，并通过**ResourceRequest**机制申请资源（内存、CPU等）。RM收到请求后，根据调度策略（FIFO/Capacity/Fair）将资源封装为**Container**（Yarn的资源抽象单位）[^2]。  
   $$ \text{ResourceRequest} \rightarrow \text{调度器} \rightarrow \text{Container分配} $$

3. **Container分配与启动**  
   - RM将Container分配结果通过**AllocateResponse**返回给AM
   - AM与对应节点的**NodeManager（NM）**通信，发送**ContainerLaunchContext**启动任务
   - NM在Container中执行具体任务（如MapTask/ReduceTask）[^1][^2]

4. **资源预留机制**  
   当资源不足时，调度器会为AM的请求**预留资源**（Reservation），直到集群有足够资源满足请求[^1]。例如：
   ```plaintext
   AM申请: 4个Container(各4GB内存) → 当前只有10GB可用 → 预留2个Container
   ```

5. **动态资源调整**  
   AM可运行时动态调整资源请求：
   - 申请更多Container（水平扩展）
   - 释放空闲Container（资源回收）
   - 变更Container规格（垂直扩缩容）[^2]

6. **任务完成与清理**  
   - 所有任务完成后，AM向RM注销应用
   - RM回收所有Container资源
   - 清理NM上的临时数据

### 关键组件作用
| 组件 | 功能 | 资源管理方式 |
|------|------|--------------|
| **ResourceManager** | 全局资源调度器 | 分配Container给AM |
| **ApplicationMaster** | 应用级调度器 | 将Container分配给具体Task |
| **NodeManager** | 节点资源监控 | 启动/监控Container |
| **Container** | 资源抽象 | 封装CPU、内存等资源[^2] |



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值