Flink on yarn任务日志怎么看

原创 已于 2023-10-09 16:03:15 修改 · 4.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2023-05-30 14:29:01 首次发布
部署运行你感兴趣的模型镜像

1、jobmanager日志

        在yarn上可以直接看

2、taskmanager日志

         在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？

这是jobmanager的地址

hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root

你要看taskmanager的地址，首先我们要知道taskmanager运行在哪里

 打开Jobmanager日志

 全局搜索

 Registering TaskManager with ResourceID

后边就是taskmanager地址因此，替换一下url就可以得到这个taskmanger的地址

2023-05-30 03:19:35,136 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Registering TaskManager with ResourceID container_e03_1684463979345_0028_01_000003(hadoop03:45454) (akka.tcp://flink@hadoop03:43225/user/rpc/taskmanager_0) at ResourceManager
2023-05-30 03:19:35,147 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Worker container_e03_1684463979345_0028_01_000003(hadoop03:45454) is registered.

http://hadoop02:19888/jobhistory/logs/{taskmangerIp}:45454/{taskmanager的容器名}/{taskmanager的容器名}/root

taskmanager容器名：container_e03_1684463979345_0028_01_000003

taskmangerIp:  hadoop03

http://hadoop02:19888/jobhistory/logs/{taskmangerIp}:45454/{taskmanager的容器名}/{taskmanager的容器名}/root

注意：应该会有好多个taskmanger

您可能感兴趣的与本文相关的镜像

voxCPM-1.5-WEBUI

voxCPM-1.5-WEBUI

PyTorch
语音合成
音乐合成

文本转语音大模型，网页推理。

flink实战 -- flink on yarn 任务日志收集与监控
阿华田的博客
09-02 4246
背景 在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。 日志收集方案 在 Flink 1.1...
Flink 1.13 cdc 任务 on yarn 日志查询详解
qq_31866793的博客
01-15 5270
目录 一，正常部署之后，flink on yarn 任务查看 二，shell命令查看具体日志 三，开启historyserver 四，使用yarn的restfulApi查看信息 五，总结： 一，正常部署之后，flink on yarn 任务查看 1，正在运行任务： 2，杀死任务之后： 3，我们点击History按钮 进入页面： 这并不是我们想要的效果，so，我们要看看具体的操作。 二，shell命令查看具体日志 在shell命令执行：..
flink yarn模式提交及查看日志
peidezhi的专栏
10-15 1万+
一、Yarn session（一般测试环境） yarn session会初始启动指定的tm数量。 job提交后再指定的session 内运行。 其它job运行，如果资源不够，就会一直等待直到占用的job运行完毕释放资源。jm所有job共享 1 在任意几点启动yarn-session: 下述属性启动4个任务管理器。 每个任务管理器占用1024M内存，且每任务管理器分配2个SLO...
Flink任务获取yarn上的运行日志
h6lkj的专栏
03-01 839
Flink任务获取yarn上的运行日志
Flink任务获取yarn上的运行日志，腾讯大数据开发面试题
2401_84160361的博客
04-15 371
flink任务在yarn失败，需要从yarn的归档服务器当中获取运行日志用来排查异常原因，正在运行中的任务日志从当前运行的Node节点中读取，方便监控任务运行信息。
Flink日志采集、集中存储、可视化查询实践
OkGogooXSailboat的博客
08-28 1499
笔者的开发大数据平台中包含基于Flink的可视化计算管道开发和运维功能。状态存储器中数据的查看和节点的日志查看功能是其重要的辅助支撑功能。它能使得在大数据平台上就能完全实现计算管道的开发、调试、部署，逐渐摆脱Flink的原生界面。Flink分JobManager和TaskManager，JobManager中的日志是总体性的，构建计算管道的过程，就是在JobManager中完成的，而Job的执行则是在TaskManager中。就可以从中找失败原因。
Flink配置Yarn日志聚合、配置历史日志。
myself_ning的博客
06-29 6670
yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。 任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。 ..................
Flink源码解析之：Flink On Yarn模式任务提交部署过程解析
大数据开发、JAVA开发、人工智能AI
12-31 2607
Flink源码解析之：Flink On Yarn模式任务提交部署过程解析
Flink on Yarn 配置及使用
Brother_ning的博客
12-21 1415
flink on yarn的生产及使用参数配置，flink高可用配置，flink启动配置
Flink On Yarn实操演示
靡不有初，鲜克有终
06-18 752
这课的学习我们基本上了解了flinkonline的一些基本原理，以及相应的一些集群的一些参数配置。通过本节课的学习，我们将去通过一些实际的一些操作，然后来去看flinkonyour的一个集群的具体的一个部署的一个流程。我们接下来看一下这个flinkon娅的一个集群的一个部署。这个的话其实，我们首先检查一下它的一个环境的一个要求。这个环境的一个要求的话是要求他要有hadoop版本的这样的一个2.4.1的以上。它要有HDFS的一个环境，以及hadoop相关的一些依赖包。这几个的话是我们需要在当前的
Flink on yarn日志输出
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
实战|基于Flink的用户行为日志分析系统
数据一哥，公众号：数据社
09-15 1万+
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析...
Flink on yarn日志收集
Baron_ND的博客
08-18 2227
背景 在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,生成的日志文件就非常多,这对于我们排查问题来说,就造成了很大的不便,所以,我们需要有一种统一的日志收集,检索,展示的方案来帮忙我们快速的分析日志,定位问题. 那么我们很容易就能想到 ELK 分布式日志收集解决方案 EL
Flink cep监控 Flink任务日志
qq_31866793的博客
06-22 910
1,配置flink的log4j（idea本地测试） 2, bbb 3, ccc
Flink日志采集-ELK可视化实现
小道的博客
11-03 2083
Flink日志采集到Kafka,ELK实现可视化
【flink 床头书系列】flink log日志管理使用
wang2leee的博客
10-11 1432
所有的Flink进程都会创建一个包含该进程中各种事件消息的日志文本文件。这些日志提供了对Flink内部工作原理的深入了解，可以用于检测问题（以WARN/ERROR消息形式）并帮助调试。
Flink日志输出查看方式
热门推荐
fct2001140269的博客
03-08 4万+
在网上查看flink日志查看方式，竟然查询不到，因此写下这篇文章，给有此困惑的小盆友们，也给自己做个总结！ 前情提要： 我是通过flink web ui提交的flink任务的，因此通过flink ui查看自身控制台打印输出的。 第一步：打开flink的Dashboard 看到TaskManager的控制面板之后，点击右侧的具体job所在的taskManager主机 进入如下界面，点迹Stdou...
Flink运行时之TaskManager执行Task
VinoYang的专栏
01-24 9936
TaskManager执行任务当一个任务被JobManager部署到TaskManager之后，它将会被执行。本篇我们将分析任务的执行细节。
3. Flink集群配置文件以及日志系统概述
03-02 2148
文章目录1. 常用Scope区别2. [Flink集群搭建](https://www.jianshu.com/p/c47e8f438291)2.1. 独立集群2.2. yarn集群2.3. 高可用HA3. [SLF4J和Logback和Log4j和Logging的区别与联系](https://www.cnblogs.com/suger43894/p/9543685.html)3.1. ==一个著名...
flink on yarn 收集日志到hdfs flink1.15
最新发布
06-28
在 Flink 1.15 on YARN 的部署模式下，将日志收集到 HDFS 是实现任务监控和异常实时感知的重要手段。以下是一些关键配置方法与步骤： ### 配置 YARN 日志聚合功能 YARN 提供了日志聚合（Log Aggregation）功能，可以将 TaskManager 和 JobManager 的日志集中存储到 HDFS 中。需要在 `yarn-site.xml` 文件中启用该功能： ```xml <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> ``` 启用后，Flink 任务执行期间的日志会在任务结束后统一上传到 HDFS 指定路径[^2]。 此外，还可以通过以下参数设置日志的存储路径和保留时间： ```xml <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/logs/yarn</value> <!-- HDFS 上日志存储路径 --> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value> <!-- 日志保留时间，默认为一天 --> </property> ``` ### Flink 自定义日志输出路径 Flink 允许通过配置 `log4j.properties` 或 `logback.xml` 文件来指定日志输出路径。可以在 Flink 配置目录下的 `log4j.properties` 文件中修改日志输出路径，将其指向本地磁盘或 HDFS 路径： ```properties log4j.appender.file=org.apache.log4j.RollingFileAppender log4j.appender.file.File=file:///path/to/flink/logs/flink-taskmanager.log ``` 如果希望直接写入 HDFS，则需要使用 Hadoop 的 HDFS 客户端支持，例如： ```properties log4j.appender.hdfs=org.apache.log4j.DailyRollingFileAppender log4j.appender.hdfs.File=hdfs://namenode/path/to/flink/logs/flink-taskmanager.log ``` 确保 Flink 的运行环境中有 Hadoop 配置文件（如 `core-site.xml` 和 `hdfs-site.xml`），以便访问 HDFS。 ### 使用外部日志收集系统 为了实现实时日志收集和报警，可以集成 ELK Stack（Elasticsearch, Logstash, Kibana）或 Fluentd 等工具。这些工具可以从本地磁盘或 HDFS 中读取日志，并进行实时分析和报警。 - **Logstash**：可以从本地文件或 HDFS 中读取日志数据，并发送到 Elasticsearch。 - **Fluentd**：提供灵活的日志收集管道，支持从多种来源读取日志并转发到多个目的地。 例如，Logstash 的配置示例： ```yaml input { file { path => "/path/to/flink/logs/*.log" start_position => "beginning" } } output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "flink-logs-%{+YYYY.MM.dd}" } } ``` ### 监控与报警机制 通过集成 Prometheus + Grafana 可以实现对 Flink 任务的指标监控，同时结合 Alertmanager 实现日志异常报警。 - **Prometheus**：可以通过 JMX Exporter 收集 Flink 的 JVM 指标。 - **Grafana**：用于可视化监控数据。 - **Alertmanager**：根据预设规则触发报警。 ### 示例代码：JMX Exporter 配置 在启动 Flink 任务时添加 JMX Exporter 参数： ```bash -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9010 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -javaagent:/path/to/jmx_prometheus_javaagent.jar=9010:/path/to/config.yaml ``` 其中 `config.yaml` 文件定义了需要暴露的指标。 ### 总结 通过以上方法，可以在 Flink 1.15 on YARN 的环境下实现日志的有效管理和实时监控。具体包括： 1. 启用 YARN 的日志聚合功能，将日志上传至 HDFS。 2. 自定义 Flink 日志输出路径，确保日志写入 HDFS。 3. 集成外部日志收集系统（如 ELK Stack 或 Fluentd）进行实时分析。 4. 利用 Prometheus + Grafana 实现指标监控和报警。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值