yarn日志搜索

最新推荐文章于 2025-06-02 16:23:56 发布
原创 最新推荐文章于 2025-06-02 16:23:56 发布 · 796 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#查看错误日志

命令：

yarn logs -applicationId application_1528275740373_0604 | grep -10 '###'

 

日志过大时添加参数：

yarn logs -applicationId application_1540869695351_0146  --size_limit_mb -1 

参考文章：

https://www.jianshu.com/p/6f3b901bd520

flink实战 -- flink on yarn 任务日志收集与监控
阿华田的博客
09-02 4211
背景 在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。 日志收集方案 在 Flink 1.1...
Yarn日志过大无法拉取java.lang.RuntimeException: The total log size is too large.The log size limit is 10240M
NBA首席形象大使坤坤
04-16 2603
yarn拉取日志命令： yarn logs -applicationId application_1624172467753_3988 -appOwner root -size_limit_mb -1 > ./application_1624172467753_3988.log 加 -appOwner 是防止权限问题 但是可能会遇到日志过大无法拉取的情况（默认最大10G） 解决办法：加参数 -size_limit_mb -1即可 yarn logs -applicationId app
yarn日志查看的3种方法
爱折腾的小土豆的博客
03-03 9051
yarn日志查看的3中方法 一、在yarn的开源web上查询相关任务运行情况 （如果任务异常退出，可能会看不到） 二、yarn命令查看(用户要和提交任务的用户一致） #显示所有yarn的任务 yarn application -list -appStates ALL #显示完成的任务 yarn application -list -appStates FINISHED #筛选的字段 ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,K
通过yarn命令查看日志
ImezZ
02-26 5462
通过yarn命令(用户要和提交任务的用户一致） 1）yarn application -list -appStates ALL（这个不显示时间信息） 显示所有任务。 2）yarn logs -applicationId application_1493700892407_0007 查看任务日志。
yarn application日志查看
Baron_ND的博客
04-12 9880
Yarn application 日志查看 方式一：正在运行任务，可以在任务启动后或者在yarn application UI页面找到applicationId，然后在服务器上查看：yarn logs -applicationId *** 方式二：已完成任务点击applicationId进去查看log 方式三：在yarn-site.xml配置文件里查看log的位置，然后可以直接在浏览器上看log详情 Flink任务日志查看 方式一：任务启动后直接在linux上看打印出...
如何查看yarn日志
weixin_35757531的博客
02-13 1359
可以使用以下命令查看Yarn日志: yarn logs -applicationId<application_id> 其中 <application_id> 是您想查看日志的Yarn应用程序的ID。
YARN应用日志查看
最新发布
Java/Python大数据随笔
06-02 1325
如果是Streaming实时任务，还会多出来一个Streaming菜单，可以查看各微批次的延迟等情况，一般常会看Scheduling Delay，这一列如果大多是0ms到2ms左右，说明各批次处理没有明显的延迟，如果ms数较大则可能需要关注前面批次的调度延迟情况。的执行情况，包括Task ID、属于哪次Attempt（尝试ID）、状态、本地化级别、所属Executor的ID、所在机器IP或域名、启动时间、持续时间、调度延迟等，失败的。的总执行时长、本地化级别情况、输入数据量（容量/条数）、输出给下一个。
CDH平台YARN日志查看和问题排查
weixin_43497829的博客
02-20 7470
1.查看YARN中作业的web端口 方式一： 通过ResourceManagerWeb UI 查看日志：( 这种方式可以查看当前正在执行以及历史所有任务） 1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。 1.2 然后查找端口， 通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088.
【yarn】任务日志丢失问题分析
善皮之的博客
11-16 2078
在yarn的web ui界面上，寻找job日志的时候，发现日志没了的原因探查。
CDH大数据集群管理后台CM查看YARN日志方式讲解
pingweicheng的博客
02-06 2707
查看YARN中作业的两种日志方式如下： 方式一： 同规格ResourceManagerWeb UI 查看日志： 1.1 先找到ResourceManager角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。 1.2 然后查找端口，通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088. 如下图所示。操作路径：集群-YARN-配置...
【Yarn】yarn常用命令 查看日志和Kill任务
weixin_42804692的博客
10-24 3132
工作中常用到的命令，记录一下 将任务运行的日志写入文件方便查看 yarn logs -applicationId applicationxxxxxx > xxxxxx.log 将运行的任务杀掉 yarn application -kill applicationxxxxxx
yarn中要看详细的job日志
JavaBigData的博客
06-06 304
1.JobHistoryServer得启动 2.修改windows的hosts文件 C:\Windows\System32\drivers\etc\hosts,因为在服务器上可能配置的ip的别名，到Windows浏览器不识别 3.vim /opt/module/hadoop/etc/hadoop/mapred-site.xml 中添加以下日志参数 ...
查看yarn的日志
LSB19930706的博客
06-06 6330
先去yarn的仪表盘找到application_id 然后在linux命令行输入 yarn logs -applicationId application_id &gt; yarn.log cat yarn.log可以查看日志了
查看YARN任务日志的几种方式
热门推荐
xyz的博客
11-05 6万+
1、通过history server 通过history server，直接在web ui上查看（如果任务异常退出，可能会看不到） All Applications application application log 2、通过yarn命令(用户要和提交任务的用户一致） 1）yarn application -list -appStates ALL（这个不显示时间信息） ...
yarn日志管理
sujins5288的博客
01-28 3760
在yarn上运行的程序，日志管理是由NodeManager进行管理的。其目录结构如下： NodeManager会在所有目录上为同一个应用程序建立相同的目录结构，并会采用轮询的调度方式将这些目录分配给不同的Container使用。每个Container会输出三类日志：              stdout:使用标准输出函数打印的日志，如scala的print()输出内容。        ...
yarn 配置log4j日志输出
mtj66的博客，交流WX:SpringBreeze1104
12-26 4843
To use a custom log4j configuration for the application master or executors, here are the options: upload a custom log4j.properties using spark-submit, by adding it to the --files list of files t
【Yarn】yarn logs 日志过大 The total log size is too large The log size limit is 10240M
九师兄
05-30 511
这个时候不建议打开看，就算是grep也不可以，应该head或者tail最前或者最后的部分，追加到一个文件内打开看。今天要排查一个现场，然后需要下载日志查看，结果发现日志过大，无法下载。然后根据提示发现加了参数也无法拉取。
Yarn 日志管理相关
weixin_44224310的博客
03-18 191
Yarn 日志管理相关 https://www.jianshu.com/p/83fcf7478dd7 转载
HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数
Redamancy06的博客
10-13 9505
yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日
如何查看YARN日志
03-20
<think>好的，用户现在问的是如何查看YARN日志。之前他们遇到了Hive执行MapReduce任务返回错误码2的问题，我之前已经给出了一些排查步骤，其中包括查看YARN日志。现在用户可能按照之前的指导，想更详细地了解如何具体操作查看这些日志，所以需要详细解答。 首先，我需要确定用户的使用场景。他们可能是在处理Hive任务时遇到了问题，需要查看YARN日志来诊断错误原因。用户可能是数据分析师或者开发人员，对Hadoop生态有一定了解，但可能不熟悉具体的日志查看命令和步骤。 接下来，用户的真实需求是获取查看YARN日志的方法。他们可能需要具体的命令示例和步骤，包括如何找到Application ID，如何通过命令行或Web UI查看日志，以及如何处理常见问题比如日志被清理的情况。此外，用户可能还希望了解如何调整日志级别或配置日志聚合，以便未来更方便地排查问题。 需要考虑到用户可能对YARN的架构不太熟悉，所以解释的时候要简明扼要。例如，Application Master和NodeManager的区别，以及日志聚合的作用。同时，提供不同的方法，比如命令行和Web界面，满足不同用户的操作习惯。 还要注意用户可能遇到的权限问题，比如是否有权限访问YARN的Web界面或执行yarn logs命令。此外，如果日志已经被聚合到HDFS，可能需要指导用户如何从HDFS中提取日志文件。对于日志被清理的情况，给出解决方案，比如调整保留时间或手动触发聚合。 另外，用户可能不知道如何调整日志级别，这时候需要给出具体的配置参数和示例，帮助他们启用调试日志，以便更详细地排查问题。 最后，总结关键点，确保用户能够抓住重点，按照步骤操作。同时提醒常见问题，帮助他们避免常见陷阱，比如权限不足或日志未聚合的情况。</think>--- ### 一、核心操作流程 #### 1. 获取YARN Application ID - **从Hive日志中提取** 在Hive客户端执行查询后，错误日志会直接显示`Application ID`，格式为： `application_<timestamp>_<序列号>` ```bash # 在Hive日志中搜索（默认路径：/tmp/${username}/hive.log） grep "Application ID" /tmp/your_username/hive.log ``` - **通过YARN Web UI查看** 访问YARN ResourceManager Web界面（默认端口：8088）： `http://<resourcemanager-host>:8088/cluster/apps` 按时间排序找到对应的任务。 #### 2. 查看日志的三种方法 ##### 方法1：命令行直接查看 ```bash # 标准查询（需开启日志聚合功能） yarn logs -applicationId application_XXXX_XX # 强制查看未聚合的日志（需SSH到对应节点） yarn logs -applicationId application_XXXX_XX -am ALL -log_files stdout ``` ##### 方法2：通过HDFS查看聚合日志 ```bash # 定位HDFS聚合日志路径（需先启用日志聚合） hdfs dfs -ls /tmp/logs/<user>/logs/application_XXXX_XX # 下载全部日志到本地 hdfs dfs -get /tmp/logs/<user>/logs/application_XXXX_XX /local/path ``` ##### 方法3：Web界面查看 1. 访问YARN ResourceManager Web UI：`http://<rm-host>:8088` 2. 找到对应Application ID，点击`Logs`按钮 3. 直接查看`stdout/stderr`或下载完整日志包 --- ### 二、关键配置验证 #### 1. 确认日志聚合已启用 检查`yarn-site.xml`配置： ```xml <property> <name>yarn.log-aggregation-enable</name> <value>true</value> <!-- 必须为true --> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/tmp/logs</value> <!-- 聚合日志存储路径 --> </property> ``` #### 2. 日志保留时间设置 ```xml <!-- 在yarn-site.xml中定义保留时长（默认7天） --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> ``` --- ### 三、典型问题解决方案 #### 场景1：`Log aggregation has not completed` ```log ERROR: Log aggregation has not completed or is not enabled. ``` - **原因**：日志尚未完成聚合（任务结束到聚合完成有延迟） - **解决**： ```bash # 等待1-5分钟后重试 yarn logs -applicationId application_XXXX_XX # 或直接访问对应NodeManager节点日志 ssh nodemanager-host cat /var/log/hadoop-yarn/containers/application_XXXX_XX/*/stdout ``` #### 场景2：`No logs available` ```log ERROR: The logs are not available for application_XXXX_XX ``` - **原因**：日志已被清理或未启用聚合 - **解决**： ```bash # 检查HDFS聚合目录是否存在 hdfs dfs -ls /tmp/logs/<user>/logs/application_XXXX_XX # 如果目录不存在，手动触发日志转储（需管理员权限） yarn rmadmin -refreshNodes ``` --- ### 四、调试技巧 #### 1. 重点查看位置 | 日志文件 | 关键信息定位 | |----------------|----------------------------------| | **stdout** | MapReduce计数器、任务进度 | | **stderr** | Java堆栈跟踪、系统错误代码 | | **syslog** | 容器启动失败原因、资源分配问题 | #### 2. 过滤关键错误 ```bash # 查找OOM错误 yarn logs -applicationId app_XXXX | grep -i "outofmemory" # 查找容器退出码 yarn logs -applicationId app_XXXX | grep "Exit code" ``` --- ### 五、日志分析示例 ```log Container: container_XXXX_01_000002 on nodehost_123 LogType:stderr LogLength:1582 Log Contents: Error: Java heap space Dump of the process-state... ``` - **诊断**：Map/Reduce任务内存不足 - **解决**：调整内存配置 ```sql SET mapreduce.map.memory.mb=4096; SET mapreduce.reduce.memory.mb=8192; ``` --- 通过以上方法，可以快速定位YARN任务失败的根本原因。建议优先使用`yarn logs`命令配合Web UI交叉验证，同时注意检查日志聚合功能是否正常启用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值