大数据初学者问题汇总之yarn-ui上Tracking URL打开报错500，且Log Aggregation Status NOT_START

一个木登子

已于 2023-04-07 14:21:50 修改

阅读量1k

点赞数

分类专栏：大数据初学者问题汇总文章标签：大数据 yarn flink hadoop

于 2023-04-07 14:10:34 首次发布

本文链接：https://blog.youkuaiyun.com/chengzixiannv/article/details/130010615

版权

今天工作上处理了一个现网问题

有一个大数据环境的yarn ui上的一个flink任务的Tracking URL打不开，点开报错http 500，并且Log Aggregation Status NOT_START

如下图所示可以查到相关任务状态

前端点进去是这样的报错

然后再后台用yarn命令查看一下日志和该进程在不在

很可惜也查不到，甚至还提示我Invalid ApplicationId specified，说这个id无效，可明明在列表运行

首先就是在网上查询相关报错的资料，发现都查不到 o(╥﹏╥)o

没办法，万事靠自己，先查了一下Log Aggregation Status是什么，发现是一个监控任务日志的工具，于是，一个想法蹦进了我的脑子，一顿操作猛如虎，问题解决了！！！！！

哈哈哈哈哈哈

下面说一下解决方法

1.先看一下该任务是在哪台服务器上运行的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一个木登子

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

flink提交作业到yarn

chanyue123的博客

12-01

8916

讲解flink如何提交到yarn

YARN UI界面日志详解一

NC_NE的博客

06-20

6547

一、查看yarn日志的方式如果是Apache搭建的集群可以通过ResourceManager角色服务器的IP来访问（http://hadoop101:8088/cluster）

1 条评论您还未登录，请先登录后发表或查看评论

Log Aggregation Status TIME_OUT的缘起

数据之路

12-09

3060

在spark on yarn运行中，有时会发现spark程序运行完毕后，spark的运行界面没有信息，或者找不到相关的运行信息了，经仔细查看NodeManager UI,出现如下信息：Log Aggregation Status TIME_OUT原来NodeManager可以在应用结束后将日志安全地移动到分布式文件系统HDFS，当应用(application)结束时，用户能通过 YARN 的命令行

YARN的web界面，点击Tracking UI 无法访问

云飞扬°的博客

09-29

2497

YARN的web界面，点击Tracking UI 无法访问解决方法：在Master节点的hadoop的sbin目录下，执行mr-jobhistory-daemon.sh start historyserver 通过jps查看是否启动成功

Hadoop Yarn webUI启动报错：HTTP ERROR 500 Problem accessing /cluster. Reason: INTERNAL_SERVER_ERROR

weixin_43530138的博客

09-12

3925

问题： HTTP ERROR 500 Problem accessing /cluster. Reason: INTERNAL_SERVER_ERROR Caused by: java.lang.NullPointerException at org.apache.http.client.utils.URLEncodedUtils.parse(URLEncodedUtils.java:235) ...

Yarn LogAggregationService的日志收集失败导致的NodeManager OOM和启动失败

小昌昌的博客

07-25

1288

NodeManager因为OOM问题无法正常启动，我们发现是NodeManager在启动时会加载StateStore中的Application而StateStore中Application过多导致。进一步，我们看到StateStore中Application过多是Log Aggregation失效导致。本文详细记录事故处理过程，代码层面分析NodeManager recover和Log Aggregation的基本原理。

web service 订单跟踪--UPS, FedEx & USPS Shipment Tracking URL

fhuan123的专栏

01-14

1329

Direct URL for UPS shipment tracking: http://wwwapps.ups.com/WebTracking/track?track=yes&trackNums=1ZXXXXXXXXXXXXXXXX If any value is provided for the “track” parameter then the confi...

【Yarn】记录一次yarn日志没有聚合，及解决方法

Mrerlou的博客

08-11

1841

前言今天在跑MR任务时报错，需要查看下Yarn的任务的执行日志，使用命令yarn logs -applicationId <app ID> 但是报错，今天整理并记录一下。报错内容 /tmp/logs/hive/logs/application_1562814267987_0012 does not exist. Log aggregation has not completed or is not enabled. 报错原因 Yarn日志没有聚合.并且也没有创建对应的linux文件路径。

TrackingURLs-一种ColdFusion函数，用于解析运输跟踪编号

专业的开发者“讨论”

04-23

232

Just a quick post regarding TrackingURLs, a ColdFusion CFC to identify shipping tracking numbers (UPS, USPS, Fedex, OnTrac, DHL, S10) and generate a tracking URL. Sample Integration...

【yarn】yarn任务日志看不了，报错Logs not available for container_XXX, Aggregation may not be complete,Check back

好学的小师弟的博客；华为云社区月度积极博主

10-23

1509

yarn任务日志查看不了，问题解决方法

The originalTrackingUrl changes in the process of application run

houzhizhen的专栏

07-11

440

Before am register, the originalTrackingUrl=”N/A”; After am register, the originalTrackingUrl is the web url of application master, like ‘http://localhost:42298’ private static final class AMRegis...

Flink界面提交任务报错500【The program plan could not be fetched】

gaofeng的博客

06-15

2180

flink界面提交任务 F12报错 network报错： {"errors":["Internal server error.","<Exception on server side:\norg.apache.flink.client.program.ProgramInvocationException: The program plan could not be fetched - the program aborted pre-maturely.\n\nClasspath: [file:/mfs_

yarn 指令

1234Wu--前端Blog

10-28

400

yarn 指令 npm -save 和 -save-dev的区别

hadoop 8088UI无法查看log日志及Tracking UI(URL)输出信息

weixin_44455388的博客

09-26

6163

运行spark on yarn时，Hadoop 8088UI界面上所有可以点击的链接均无法打开：可能存在的几种情况：第一：配置存在问题。第二：jobhistory没有启动。第三：本机的host文件没有配置别名。如果是配置存在问题，请参考如下配置： core-site.xml文件 <configuration> <!-- hadoop默认访问nameNode元数据...

Invalid policyvers specified: 26解决方案

pinghegood的成长之路，奋斗阶段

12-07

4195

最近由于项目需要编译Android5.0源码(以前编译4.x代码也出现过类似问题)，按照source.android.com的下载编译过程挺顺利的。结果，编译到一个小时左右的时候老是出现Invalid policyvers specified: 26这个错误。重装系统好多次，都搞不定，网上很多同学都碰到这个问题，没有现成的解决方案。好苦恼，最终在这个周末终于解决了，解决方案如下： 1.定位错

yarn 日志聚集配置

mark's technic world

02-21

9248

Hadoop 日志文件使用

sunwenxu的博客

07-01

544

场景进程启动不了，控制没有报什么错误，这个时候，我们只能通过查看日志的方式找到问题。日志文件目录：${Hadoop_home}/logs 日志文件名：文件名：主键模块的名称-用户名-服务名称-主机名后缀名： .log:程序启动相关信息 .out:标准输出程序运行的输出 system.out.print/error 注意：一旦出错了，自己去找对应的文件，然后使用tail命令去查看 tail...

hadoop2-hive

m0_67393039的博客

09-06

401

1.Hive是数据仓库，在MySQL或其他关系型数据库中存放元数据信息，而把真正的Data存放在HDFS上面。2.主要使用Hive来对历史数据进行分析。3.方便非Java开发者(或者没有编程基础的人员)，但是会SQL，他们使用SQL对数据进行分析4.Hive会将SQL转化为MapReduce进行工作。读取在MySQL或其他关系型数据库中存放元数据信息，再读取HDFS中的数据信息进行处理。

YARN的 Resource Manager的作用

Make progress step by step everyday.....

04-02

1919

可以带着下面问题来阅读本文： 1.YARN通过什么来负责管理和分配集群中资源？ 2.ResourceManager有几部分组成？ 3.管理员通过什么服务来管理集群？ 4.集群默认多长时间未汇报心跳，则认为其死掉？ 5.ApplicationACLsManager有几种权限，查看主要查看什么，修改，主要修改什么？ 6.ResourceScheduler在YARN中的位置？ 1：在Y

linux启动 --master yarn --deploy-mode client报错

最新发布

03-11

### Linux环境下使用`spark-submit --master yarn --deploy-mode client`启动失败的原因分析当在Linux环境中执行命令 `spark-submit --master yarn --deploy-mode client` 提交应用程序时，如果遇到启动失败的情况，可能由多种因素引起。以下是常见错误及其对应的解决方案： #### 1. YARN资源不足 YARN集群中的可用资源不足以满足提交的应用程序需求可能导致任务无法成功调度并运行。这通常表现为应用被拒绝或者长时间处于等待状态。 - **解决方案**: 调整申请的内存大小和其他资源配置参数以适应当前环境下的实际可利用资源量。可以通过减少分配给驱动器(driver)和执行者(executor)的内存来尝试解决问题[^3]。 #### 2. Hadoop配置不正确 HDFS地址或其他必要的Hadoop配置项未正确定义也可能引发连接不上NameNode等问题，进而影响整个流程。 - **解决方案**: 检查HADOOP_CONF_DIR变量指向的位置是否包含了有效的core-site.xml以及hdfs-site.xml文件，并确认其中定义的服务端口与网络可达性均无误。 #### 3. Spark版本兼容性问题不同版本之间可能存在API变更或是依赖库差异，特别是对于一些特定功能的支持程度有所区别。 - **解决方案**: 确认所使用的Apache Spark版本同部署的目标平台（如CDH、HDP等）保持一致；必要时升级或降级至匹配版本[^4]。 #### 4. Application Master未能启动有时尽管客户端看似正常工作，但实际上Application Master并未能顺利初始化，从而导致整体进程终止。 - **异常提示**: org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. - **解决方案**: 查看YARN ResourceManager的日志信息寻找更详细的报错描述，排查是否存在权限不够或者其他阻碍AM创建的因素[^5]。 ```bash yarn logs -applicationId <your_application_id> ``` 通过上述方法可以有效定位并解决大部分情况下由于不当操作引起的`spark-submit --master yarn --deploy-mode client`模式下发生的故障现象。