Flink on yarn任务日志怎么看

原创 2023-10-09 16:03:15 4.7k 阅读 AI写同款

收录于

flink

JNWsong

码龄9年墨衍会员 · AI 创作全网分发

287粉丝204篇原创

关注

Flink 1.13 cdc 任务 on yarn 日志查询详解目录一，正常部署之后，flink on yarn 任务查看二，shell命令查看具体日志三，开启historyserver 四，使用yarn的restfulApi查看信息五，总结：一，正常部署之后，flink on yarn 任务查看 1，正在运行任务： 2，杀死任务之后： 3，我们点击History按钮进入页面：这并不是我们想要的效果，so，我们要看看具体的操作。二，shell命令查看具体日志在shell命令执行：.. 阅读详情

AI摘要

在YARN上可以直接查看jobmanager日志，而taskmanager日志通常可以在Flink的webUI中查看。但当任务失败导致webUI不可用时，可以通过JobManager的日志找到taskmanager注册信息，从而获取taskmanager的日志地址。例如，从日志中找到类似RegisteringTaskManagerwithResourceID的条目，可以构建taskmanager的日志URL，如http://hadoop02:19888/jobhistory/logs/hadoop03:45454/container_e03_1684463979345_0028_01_000003/root来访问。

1、jobmanager日志

在yarn上可以直接看

2、taskmanager日志

在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？

这是jobmanager的地址

hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root

你要看taskmanager的地址，首先我们要知道taskmanager运行在哪里

打开Jobmanager日志

全局搜索

 Registering TaskManager with ResourceID

后边就是taskmanager地址因此，替换一下url就可以得到这个taskmanger的地址

2023-05-30 03:19:35,136 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Registering TaskManager with ResourceID container_e03_1684463979345_0028_01_000003(hadoop03:45454) (akka.tcp://flink@hadoop03:43225/user/rpc/taskmanager_0) at ResourceManager
2023-05-30 03:19:35,147 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Worker container_e03_1684463979345_0028_01_000003(hadoop03:45454) is registered.

http://hadoop02:19888/jobhistory/logs/{taskmangerIp}:45454/{taskmanager的容器名}/{taskmanager的容器名}/root