RM管理NodeManager Java

最新推荐文章于 2025-12-02 21:20:38 发布

代码快速拳

最新推荐文章于 2025-12-02 21:20:38 发布

阅读量121

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/DevAstro/article/details/132727930

Java 专栏收录该内容

218 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了在Hadoop生态系统中，如何通过Java API与ResourceManager进行通信来管理NodeManager。利用YarnClient类，可以获取集群中所有NodeManager的详细信息，包括节点ID、主机名、端口等，并能执行应用程序的提交和杀死等操作。

RM管理NodeManager Java

在Hadoop生态系统中，ResourceManager（RM）是一个重要的组件，负责协调集群资源的分配和管理。NodeManager（NM）是在每个集群节点上运行的代理，负责管理和监控该节点上的容器和任务。本文将介绍如何使用Java编写代码来管理NodeManager。

首先，我们需要使用Java API与ResourceManager进行通信。Hadoop提供了YarnClient类来实现与RM的交互。我们可以通过以下代码创建一个与ResourceManager的连接：

import org.apache.hadoop.conf.Configuration;
import

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

代码快速拳

关注关注

4
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Hadoop 资源管理框架 YARN : ResourceManager

AI天才研究院

09-14

9669

ResourceManager 核心功能集群资源统一管理和调度 NodeManager(管理)：接受资源汇报信息 ApplicationMaster(管理)：分配资源客户端(响应)：处理请求通信 (三个角色通信) 1. 与NodeManager通信(ResourceTracker ) 注册、心跳(汇报节点健康状况)、Container运行状态领取执行指令(启动/清理/删除Cont...

Hadoop(二): YARN(资源管理器 RM)、HBase高可用集群搭建

Jelly

08-29

1486

主要阐述Hadoop的高可用的工作原理，以及在linux上的搭建过程

参与评论您还未登录，请先登录后发表或查看评论

YARN源码分析(二)-----ResourceManager中的NM节点管理

走在前往架构师的路上

09-02

4908

前言继上一篇文章讲述完ApplicationMaster的相关用法,核心主题都是围绕着2个字"应用",当然在RM中还有另外一项比较重要的服务也很重要,他就是节点管理服务,在RM中是如何维系管理多个节点,对于应用管理的话,在RM中已经有了ApplicationMasterService这个服务对象了,那么对应于节点NodeManager来说,难道叫做NodeManagerService吗,听起来非常

【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager

笨鸟先飞的博客

12-26

478

本篇继续对 RM 中管理 NodeManager 的部分进行深入的讲解。主要有三个部分：检查 NM 是否存活；管理 NM 的黑白名单；响应 NM RPC 请求。

ResourceManager剖析——ApplicationMaster、NodeManager、Application管理

阿松的博客

12-04

1145

ApplicationMaster管理启动流程：用户向RM提交应用程序，RM收到后，先向资源调度器申请用以启动AM的资源，申请到后再由ApplicationMasterLauncher与对应的NM通信，从而启动应用程序的ApplicationMaster AM启动完成后，ApplicationMasterLaunch会通过事件的形式，将刚刚启动的AM注册到AMLivelinessMonitor，以启动心跳监控。 AM启动后，向ApplicationMasterService注册，将自己的host、端

异常解决记录 | Yarn NodeManager 注册异常

https://ophome.blog.youkuaiyun.com,在IT行业有多年的工作经验，尤其是在Python、Linux、负载均衡、Nginx和服务器运维等领域。

10-03

800

异常解决记录 | Yarn NodeManager 注册异常

Hadoop 从节点的 NodeManager 无法启动

申请二进制

08-08

396

一、问题描述日志文件信息如下： 2019-07-18 11:20:28,104 INFO nodemanager.NodeManager (LogAdapter.java:info(45)) - registered UNIX signal handlers for [TERM, HUP, INT] 2019-07-18 11:20:29,069 INFO recovery.NMLev...

shuffle文件损坏导致nodemanager重启失败

magicchu的博客

08-30

458

NM重启失败

NodeManager启动错误

热门推荐

潇水汀寒

07-25

1万+

NodeManager 没起来 2013-07-25 20:06:22,266 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.YarnException: Failed to Start org.apache.hadoop

Java面试核心知识点

生活在别处

01-30

6547

CAS(Compare And Swap/Set)比较并交换，CAS 算法的过程是这样:它包含 3 个参数 CAS(V,E,N)。V 表示要更新的变量(内存值)，E 表示预期值(旧的)，N 表示新值。当且仅当 V 值等于 E 值时，才会将 V 的值设为 N，如果 V 值和 E 值不同，则说明已经有其他线程做了更新，则当前线程什么都不做。最后，CAS 返回当前 V 的真实值。并且，通过版本号的方式来保证了完成读数据和比较并交换的操作的原子性。

SEVERE: Fatal error in NodeManager server java.nio.file.FileSystemException: /opt/psa/rel/fe/citoslog/VOPS2feadm2/nodemanager/nodemanager.log.lck: Disc quota exceeded

08-29

所提供的参考引用中未提及解决 NodeManager 服务器出现 `java.nio.file.FileSystemException: /opt/psa/rel/fe/citoslog/VOPS2feadm2/nodemanager/nodemanager.log.lck: Disc quota exceeded` 错误的方法。...

Logs for container_e45_1763347701275_0001_02_000001 ResourceManager RM Home NodeManager Tools log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.impl.MetricsSystemImpl). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

11-18

因为这里没有打印出 `Exception in thread "main"` 或类找不到等关键信息，说明问题可能出现在更早的阶段 —— 比如 **主类无法加载、JAR 包未正确分发、Java 版本不兼容、或脚本执行失败**。 --- ## 深度分析：为...

Nodemanager堆内内存泄漏问题记录

tomson8975的博客

02-08

2650

一.问题发现：发现nm堆内存使用率过高： Nodemanager堆内内存泄漏问题记录 > image2016-12-8 15:47:0.png" src="http://10.39.0.109:8090/download/attachments/1052454/image2016-12-8%2015%3A47%3A0.png?version=1&modificationDate=1

TensorRT笔记（5）：研究timingCache

ouliten的博客

12-02

935

在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。

Spring Boot与MyBatis

2509_94090418的博客

11-30

1203

Spring Boot是一个用于创建独立的、基于Spring的生产级应用程序的框架，它简化了Spring应用的初始搭建以及开发过程。MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。将Spring Boot和MyBatis结合使用，可以高效地开发数据驱动的应用程序。

基于Springboot2+Vue2的旅游景点购票系统

自学网站s.jf3q.com,菜鸟的成长之路

12-02

622

本系统是一个集旅游景点信息展示、在线购票、用户游记分享与互动交流于一体的综合性平台。核心价值在于提供便捷的景点门票预订服务，同时构建活跃的旅游社区，促进用户间的经验分享。

Plugin ‘org.springframework.bootspring-boot-maven-plugin‘ not found的解决方法

2509_94105214的博客

11-30

245

尝试使用 VPN 或更换网络环境，然后再次执行 Maven 构建命令。出现这个报错通常是因为 Maven 无法找到相应的 Spring Boot Maven 插件。如果仍然有问题，请提供更多详细信息，例如完整的错误堆栈跟踪和你的 Maven 配置，以便我更好地帮助你解决问题。如果没有，可以将相应的配置添加到父项目的。执行 Maven 的清理命令，然后重新构建项目。这将清除所有已编译的类文件和错误的依赖缓存，并重新下载正确的依赖。如果你的项目是基于父项目的，检查父项目的。

蓝桥杯20534爆破 java

最新发布

2302_80219214的博客

12-02

899

我们可以用Prim 算法，该算法的核心是从一个起点开始，逐步将距离当前连通集合最近的节点加入集合，最终形成最小生成树。

Java 缓冲区优化

qq_43427354的博客

12-02

660

在 Java 中，缓冲区（Buffer）是一块用于临时存储数据的内存区域，核心作用是协调数据生产者和消费者的速度差异，减少频繁 I/O 操作或数据拷贝的开销，提升程序性能。它本质是 “数据中转站”，避免了直接对原始数据源（如文件、网络流、数组）的频繁读写，通过 “批量处理” 优化效率。

ResourceManager 和 NodeManager

10-14

`ResourceManager` 和 `NodeManager` 是 **Apache Hadoop YARN（Yet Another Resource Negotiator）** 架构中的两个核心组件，负责集群资源的管理和任务的执行。YARN 是 Hadoop 2.0 引入的资源管理框架，用于将资源调度与作业控制分离，支持多种计算框架（如 MapReduce、Spark、Flink 等）。 --- ## 一、角色概述 ### 1. ResourceManager（RM） - **运行位置**：主节点（Master Node），通常在独立服务器上 - **职责**： - 全局资源管理器，负责整个集群的资源调度 - 跟踪所有可用的资源（CPU、内存、磁盘、网络等） - 接收应用程序提交请求（如 MapReduce 作业） - 将资源分配给各个应用程序 - 维护活跃的应用程序和队列信息（支持公平调度、容量调度等策略） > 📌 ResourceManager 包含两个主要组件： > - **Scheduler（调度器）**：负责资源分配（不监控任务执行） > - **ApplicationsManager（ASM）**：处理客户端连接，启动 ApplicationMaster > ⚠️ ResourceManager 也是单点故障（SPOF），生产环境需启用 **高可用模式（HA）** --- ### 2. NodeManager（NM） - **运行位置**：每个从节点（Slave Node）上都运行一个 NodeManager - **职责**： - 单个节点上的“代理”，管理本节点的资源使用 - 向 ResourceManager 定期发送心跳和资源使用报告（如剩余内存、CPU） - 启动和监控容器（Container）—— 实际运行任务的轻量级执行环境 - 管理本地资源（如清理临时文件、日志聚合） - 执行来自 ApplicationMaster 或 ResourceManager 的命令（如杀死容器） > 📌 容器（Container） = 可用的资源（内存 + CPU）+ 任务运行上下文 --- ## 二、工作流程示例（以提交一个 MapReduce 作业为例） 1. 用户通过客户端向 ResourceManager 提交作业。 2. ResourceManager 分配一个 Container 来运行该作业的 **ApplicationMaster（AM）** 3. ApplicationMaster 在某个 NodeManager 上启动，并注册自己到 RM。 4. AM 向 RM 申请更多 Container 来运行 Map/Reduce 任务。 5. RM 根据资源情况分配 Container。 6. AM 与对应的 NodeManager 通信，要求它们启动任务容器。 7. NodeManager 创建容器并运行 Map 或 Reduce 任务。 8. 任务完成后，NodeManager 回收资源并向 RM 报告状态。 9. 所有任务完成，AM 向 RM 注销并关闭自身。 --- ## 三、代码示例：通过 Java API 查看 YARN 集群信息（体现 RM 功能） ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.yarn.api.YarnConfiguration; import org.apache.hadoop.yarn.api.records.NodeReport; import org.apache.hadoop.yarn.client.api.YarnClient; import org.apache.hadoop.yarn.util.Records; import java.io.IOException; import java.util.List; public class YARNClusterInfo { public static void main(String[] args) { Configuration conf = new YarnConfiguration(); // 指定 ResourceManager 地址 conf.set(YarnConfiguration.RM_ADDRESS, "rm-host:8032"); YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); try { // 获取集群总资源 int totalNodes = yarnClient.getNodeCount(null); System.out.println("集群总节点数: " + totalNodes); // 获取所有 NodeManager 的报告 List<NodeReport> nodeReports = yarnClient.getNodeReports(null); for (NodeReport report : nodeReports) { System.out.println("Node: " + report.getNodeId().getHost()); System.out.println(" 可用内存: " + report.getAvailableResource().getMemorySize() + " MB"); System.out.println(" 可用 vCores: " + report.getAvailableResource().getVirtualCores()); System.out.println(" 状态: " + report.getNodeState()); } } catch (IOException e) { e.printStackTrace(); } finally { yarnClient.stop(); } } } ``` > ✅ 编译运行此代码需要添加 `hadoop-yarn-client` 和相关依赖。 --- ## 四、解释说明 - `YarnClient` 连接到 **ResourceManager**，获取集群全局视图。 - `getNodeReports()` 获取所有 **NodeManager** 上报的状态信息。 - 输出中可以看到每个节点的可用资源，体现了 RM 对 NM 的集中管理。 - NodeManager 主动上报资源使用情况，RM 基于此进行调度决策。 --- ## 五、类比理解（通俗比喻） | 角色 | 类比 | |------|------| | ResourceManager | 总经理 —— 掌控公司所有资源，决定项目如何分配人力 | | NodeManager | 部门主管 —— 管理自己团队的人力和设备，执行上级指令 | | Container | 工作岗位 —— 分配给具体员工的任务岗位，有固定资源限制 | | ApplicationMaster | 项目经理 —— 负责申请资源、协调任务执行 | --- ## 六、常见问题与优化 | 问题 | 解决方案 | |------|---------| | ResourceManager 成为瓶颈？ | 启用 YARN Federation（联邦模式）拆分负载 | | NodeManager 资源统计不准？ | 调整 `yarn.nodemanager.resource.memory-mb` 和 CPU 配置 | | 容器 OOM 被杀？ | 检查 `mapreduce.map.memory.mb` 是否超过容器限制 | | 如何监控？ | 使用 YARN Web UI（默认端口 8088）查看应用和节点状态 | --- ###