【调优/排错】Hadoop：flink on yarn 模式下提示yarn资源不足：Running and Pending Application Limits

最新推荐文章于 2025-09-08 19:33:48 发布

原创

最新推荐文章于 2025-09-08 19:33:48 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #flink #大数据

本文探讨了Flink作业在YARN环境中遇到资源不足时的表现形式及解决办法。介绍了资源不足时可能出现的问题现象，并详细解释了如何通过调整YARN调度器的配置参数来解决这一问题。

文章目录

1. 问题现象

相关log：

在这里插入图片描述

INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue:
 not starting application as amIfStarted exceeds amLimit
INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue: 
Application added - appId: application_1593338489799_0317 user: 

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue$User@6c0d5b4d, 
leaf-queue: default #user-pending-applications: 1 #user-active-applications: 15 #queue-pending-applications: 1 #queue-active-applications: 15

 That your drivers have exceeded max memory configured in Max Application Master Resources. 
 You can eithe

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

roman_日积跬步-终至千里

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

【Flink】Flink 运行到yarn 队列资源不足，导致无法运行

九师兄

03-23

652

后面突然想到以前遇到的问题，我们提交的任务队列被占满了，导致我们的任务一直提交不上去，界面上看着是running状态，实际上还没有运行呢？然后看看flink监控，发现监控室空白的，流计算正常，数据有lag，日志里面没有报错，但是就是不消费了界面这里也不显示速度等。然后现场决定把所有的别人的任务都干掉，这个本来就是给我们用的，他们却偷偷的用。这个命令可以看到我们运行的队列是哪个，但是发现有别人跟我们运行的队列一样。杀掉所有任务后，发现队列果然空了，然后我们启动我们的任务，启动后我们的果然都有数据了。

hadoop yarn 使用_flink on yarn 模式下提示yarn资源不足问题分析

weixin_29208327的博客

01-26

3543

背景在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里，并在client端一直输出如下日志：(YarnClusterDescriptor.java:1036)- Deployment took more than 60 seconds. Please check if the requested resources are available in th...

参与评论您还未登录，请先登录后发表或查看评论

动态资源调度实战：Apache Hadoop YARN Capacity Scheduler配置指南

最新发布

gitblog_01018的博客

09-08

783

你是否遇到过集群资源分配不均、重要任务等待资源超时的问题？本文将通过Apache Hadoop YARN的Capacity Scheduler（容量调度器）配置实践，教你如何实现集群资源的动态调整，确保关键业务优先获得资源，提升集群利用率。读完本文后，你将掌握容量调度器的核心配置方法、队列管理策略以及动态资源调整技巧。 ## 容量调度器简介 Capacity Scheduler是YARN（Ye...

Spark-troubleshooting-YARN队列资源不足导致app失效

u013939918的博客

03-09

860

troubleshooting YARN队列资源不足导致的application直接失败现象：如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个yarn队列上的。每个队列都是可以有自己的资源的。跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu c

76.Spark大型电商项目-用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败

someby的博客

03-28

436

目录现象解决方案本篇文章记录用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败。现象如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。假设一个生产环境中的，给spark用的yarn资源...

Yarn-AM-资源不足异常、和spark作业问题

a8131357leo的博客

06-18

5312

Application is added to the scheduler and is not yet activated. Queue's AM resource limit exceeded. Details : AM Partition = 3ssystem; AM Resource Request = <memory:4096, vCores:1>; Queue Resource Limit for AM = <memory:6144, vCores:3>; User A.

Flink 报错记录：Flink Hadoop is not in the classpath/dependencies

ljh1228的博客

10-04

841

Flink错误日志记录

网络排错高手：Hadoop环境中IP地址配置全攻略

07-11

### Hadoop Hadoop是一个开源框架，由Apache软件基金会开发，用于在普通硬件集群上存储和处理大量数据。它的核心组件包括： 1. **Hadoop Distributed File System (HDFS)** - 一个分布式文件系统，设计用于在多个...

Hadoop HA高可用集群搭建：HDFS与YARN故障转移详解

通过掌握HDFS与YARN的高可用原理、理解ZooKeeper在故障转移中的核心作用、熟练运用配置文件调优与排错技巧，技术人员可以构建出稳定、高效且具备强容错能力的大数据基础设施，为上层数据分析、机器学习、实时计算等...

【大数据技术】Hadoop单机环境搭建及配置：CentOS7下Hadoop本地模式安装与测试

04-17

内容概要：本文详细介绍了在本地环境中搭建Hadoop单机模式的步骤。首先，通过VMware Workstation虚拟机、CentOS 7操作系统和MobaXterm远程连接工具构建环境。然后，依次完成了修改IP地址、主机名配置、网络映射、SSH...

[spark 面试]yarn 生产环境下资源不足问题和网络的问题

无

09-02

2631

1、Yarn资源不足无法提交Spark的问题 2、Yarn-Client下网络流量的问题 ResourceManager会接收你的提交请求吗？Yarn一般把自己的资源分成不同的类型，我们接收的时候会专门提交到分配给Spark那一组资源，例如说此时资源信息如下：Memory 1000G，Cores 800个，此时你要提交的Spark应用程序可能需要900G的内存和700个Core，一定会没有...

troubleshooting之解决YARN队列资源不足导致的application直接失败

tianqinglei的博客

09-21

3145

1、YARN队列资源不足导致的application直接失败的现象如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu core。比如说，某个spa

spark troubleshotting之解决YARN队列资源不足导致的application直接失败

mn_kw的博客

07-19

1721

现象：如果，你是基于yarn来提交spark,比如yarn-cluster或者是yarn-client，你可以指定某个hadoop队列上的，每个队列都是有自己的资源的，生产环境中，给spark用的yarn资源队列的情况：500G内存，200个cpu core 比如说，某个spark application，在spark-submit里面你自己配了，executor,80个，每个execu...

第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解

大模型与Agent智能体

07-15

2714

第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解 1 Yarn生产环境下资源不足无法提交spark 2 yarn－client网络流量的问题 spark streaming 这里是用sparkContext来运行JOB的看一下源代码，可以仿照来写java 的submit job ...

在flink on yarn启动时，由于超过虚拟内存而启动不了的解决办法参考下面的链接

liangsir

07-03

962

https://www.cnblogs.com/xjh713/p/9681442.html

flink on yarn 模式缺少资源，出现任务堵塞现象

ShiHao_Li的博客

04-28

4019

flink on yarn 模式，缺少资源，出现任务堵塞现象： 1.报错信息如下： Application is added to the scheduler and is not yet activated. (Resource request: <memory:94208, vCores:48> exceeds maximum AM resource allowed). Application is added to the scheduler and is not yet activate

hdfs可用空间影响 yarn无可用resource

weixin_40455124的博客

06-09

422

文档一般说下面的memory 及cpu都是CPU，memory 不够或者分配策略导致不可用但如果磁盘不够，也会导致无可用资源。相关参数：yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage:

yarn pending

weixin_40756202的博客

08-26

229

我整理的一些关于【CI】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://edu.51cto.com/mic-position/757.html理解 Yarn Pending 状态及其处理 Yarn（Yet Another Resource Negotiator）是 Hadoop 生态系统中的一个组件...

YARN任务pending

wonder的地下室

05-08

2754

检查YARN的资源，增大内存，默认内存不够，至少也要给到5GB