flink中使用webUI查看信息时job not found

最新推荐文章于 2024-07-10 09:02:23 发布
原创 最新推荐文章于 2024-07-10 09:02:23 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bug #web #flink #大数据

博客内容描述了一个关于Flink任务执行时遇到的问题，即由于上一次任务的webUI界面未关闭，导致请求了一个不存在的网页。解决方法是关闭上次任务的网页，删除URL信息，从而恢复正常执行。
部署运行你感兴趣的模型镜像

A1 报错

在这里插入图片描述
这个报错不影响执行

A2 原因

上一次任务的webUI界面没有关闭，导致flink请求一个不存在的网页
在这里插入图片描述

A3 解决

关闭上次任务的网页（删掉后面的url信息）
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

GPT-SoVITS

GPT-SoVITS

AI应用

GPT-SoVITS 是一个开源的文本到语音（TTS）和语音转换模型，它结合了 GPT 的生成能力和 SoVITS 的语音转换技术。该项目以其强大的声音克隆能力而闻名，仅需少量语音样本（如5秒）即可实现高质量的即时语音合成，也可通过更长的音频（如1分钟）进行微调以获得更逼真的效果

【Flink】ERROR - Exception occurred in REST handler: Job xxx not found
九师兄
07-03 5719
flink 1.9本地运行的时候，打开界面发现时不时报错这个。 第一原因是 界面调用本地程序，你先启动了一个，然后没有关闭页面但是后台程序又重启了。就会这样。深层次原因没分析。 ...
【flink】1.12 读写hive
张小小凡
02-22 1947
问题解决 Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job 这是在sql-client中查询hive表遇到的问题，启动一下flink的Standlone集群即可。要把之前的启动的都关掉。 从Kafka读数据写入hive，一直查不到数据？ 打开路径/user/hive/warehouse/flink.db/user_behavior_hive_tbl 发现好
Flink Session Mode: 显示已完成的作业列表但不显示历史作业列表
JieLun_C的博客
09-17 408
在Flink的Session Mode中，已完成的作业列表（Completed Job List）是一个非常有用的功能，它允许用户查看已经完成的作业的详细信息，包括作业ID、状态、开始时间、结束时间等。然而，有时候用户可能会遇到一个问题：已完成的作业列表中不显示历史作业列表。在Flink的Session Mode中，已完成的作业列表通常是通过Flink Web UI提供的。接口发送GET请求来获取作业概览的信息，然后从返回的JSON数据中筛选出状态为"FINISHED"的作业，最后返回已完成的作业列表。
Flink per-job Could not find Flink job
weixin_44925880的博客
09-26 1882
当使用Per-job模式运行Flink Job时，第二个任务虽然在yarn上启动，但是Flink总会报错Could not find Flink job（job id）错误，当强制删除yarn上启动的第一个任务时候，第二个任务才会出现，有点排队等待的意思。
【Flink】Flink 1.9 版本 web UI 突然没有日志
九师兄
01-29 1330
1.概述 我们一个久经战场的flink包，以前都是好的，然后突然有一个环境，没有日志了。 然后查看日志文件，发现是正常的 [root@1 lib]# cat ../conf/log4j.properties | grep -v '#' rootLogger.level = DEBUG rootLogger.appenderRef.rolling.ref = RollingFileAppender logger.akka.name = akka logger.akka.level = INFO lo
Flink ui 本地flink ui 报错 {“errors“:[“Not found: /“]}
07-10 925
在学习flink 的过程中，伊始的flink 版本是1.17.2 报题目的错误 ，百思不得其解，尝试更替了1.19.1 然后就成功了 ，期间未做任何的修改。柳暗花明又一村，死磕到底的勇气，不断试错，新时代的爱迪生，努力寻找答案。ui 默认地址 ： http://localhost:8081。
flink web-ui提交New Job报错Server Response Message: Internal server error.
wufabao的博客
08-29 1761
flink web-ui提交New Job报错Server Response Message: Internal server error.
Flink 在IDEA执行时的webui
anfuyi5792的博客
08-13 1518
不过Flink IDEA中执行的webui 需要 flink-runtime-web 包的支持 pom 如下： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_${scal...
flink web ui提交任务时出现Server Respoonse Message-Internal server error
微电子学与固体电子学-俞驰
09-29 7267
在要submit的时候，页面弹出通知: Server Response Message Internal server error 但是没有详细信息怎么办呢？ 查看 $FLINK_HOME/log/flink-appleyuchi-standalonesession-5-Desktop.log 每次提交，都会在这个文件的末尾添加信息，所以我得到的是： 2020-09-29 13:14:03,845 WARN org.apache.flink.runtime.webmonitor.hand
springboot结合flink本地模式访问webui出现浏览器页面出现errors
最新发布
08-07
在Spring Boot应用中集成Flink并以本地模式运行时，访问Flink WebUI出现错误（如`{"errors":["Not found: /"]}`）的情况，通常与依赖配置、环境设置以及Flink WebUI模块的加载方式有关。以下是解决此问题的方案： #...
Flink中的select方法报错：无法解析重载的方法 ‘select‘
2301_79326857的博客
09-18 303
在Apache Flink中使用select方法时，有时可能会遇到错误信息：“Cannot resolve overloaded method ‘select’”。这个错误通常发生在编程过程中，当代码中存在多个select方法重载时，编译器无法确定要调用哪个方法。本文将详细介绍这个问题的原因，并提供解决方法。
【奇奇怪怪bug】Flink 1.10 on yarn ,application 在yarn 显示Running ，webui 显示Failed
Zsigner的博客
08-20 3041
今天产品气势汹汹的跑过来跟我说，生产环境的实时程序不对啊！！！！添加数据一直看不到展示 开始不可能三连：1.不可能吧，早上还好端端的 2.不可能会出问题的，可能是网络延迟 3.不可能出不来啊，是不是你没清缓存，你清缓存试试看 打发了产品回去之后，立马登上去看 1.排查 1.1 yarn 运行的好端端的,没收到电话跟短信是正常的（ps：这里加了监控实时任务挂掉的话是会电话短信通...
Flink问题汇总
TriumPhSk的博客
11-24 5728
1、Caused by: java.util.concurrent.CompletionException: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job 找不到job，flink假死重启下服务
flink遇到的问题
博客
11-15 7816
报错Could not find Flink job Job has been submitted with JobID 52e00d8f89544a7df6de38b45e33686e ------------------------------------------------------------ The program finished with the following exception: org.apache.flink.client.program.ProgramInvocation
Flink-生产环境问题集锦
weixin_45943866的博客
03-21 5298
项目场景： 平台初始搭建，在项目开发过程中遇到的问题. 问题描述及解决方案 1.在程序中将状态后端保存到HDFS，运行程序时报错失败 Caused by: java.lang.RuntimeException: Error while waiting for job to be initialized … Caused by: org.apache.flink.runtime.rest.util.RestClientException: [org.apache.flink.runtime.rest.No
flink on k8s模式通过web UI界面查看任务运行情况
直到世界的尽头
03-08 5000
我们之前已经成功部署了flink on k8s flink on k8s部署方案实践–详细步骤 单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。 一般我们在运行flink任务时，需要查看它的job运行情况。 比较常用的方式就是在flink的UI界面上查看。 一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。 flink on k8s比较特别的是jobmanager 是一个在k8s集群中
Flink日常报错和解决方案记录(企业实战备忘录)
巨魔战将
12-29 4545
问题： 问题： Flink Scala在进行从Connectors中读取数据时，调用createInput方法遇到隐式转换的报错 现象： 报错代码段： // 获取flink环境 val flink = ExecutionEnvironment.getExecutionEnvironment val inputBuilder = JDBCInputFormat ...
flink1.14.0中集成hive3.1.2
硅谷工具人
10-06 2367
不想看太多的话，直接拉到第二部分操作步骤： 1. 是解决过程： 在flink1.14.0中已经移除sql-client-defaults.yml配置文件了。 参考地址：https://issues.apache.org/jira/browse/FLINK-21454 于是我顺着这个issue找到了FLIP-163这个链接。 https://cwiki.apache.org/confluen......
用什么linux命令中删除提交的作业,disown – 从当前的shell中移除作业。 - Linux 命令大全...
weixin_39779739的博客
04-29 998
从当前的shell中移除作业。概要disown [-h] [-ar] [jobspec ... | pid ...]主要用途从当前shell的作业列表中移除全部作业。从当前shell的作业列表中移除指定的一到多个作业。从当前shell的作业列表中移除正在运行的作业。标记作业，使得它们在当前shell退出后也不会结束。选项-h 标记每个作业标识符，这些作业将不会在shell接收到sighup信...
flink的webui的thread dump怎么查看分析？
05-09
<think>好的，我需要帮助用户了解如何在Flink的WebUI中查看和分析Thread Dump。根据用户的问题，我需要先回忆一下Flink的WebUI结构，并结合提供的引用内容来组织回答。 首先，用户提到的引用[3]和[4]中有关于Flink WebUI的解析，特别是Thread Dump页面的信息。引用[4]提到在WebUI中有线程转储页，显示线程状态和堆栈信息，这可能是一个关键点。 接下来，我需要确定具体的步骤。用户需要知道如何访问Thread Dump页面，以及如何分析其中的内容。根据引用[4]，线程转储页可能位于某个特定菜单下，比如“堆内存分析”或单独的“Thread Dump”页面。可能需要导航到TaskManager的详情页，然后找到相关选项。 另外，引用[2]提到获取Thread Dump的方法，比如使用kill -3命令，但用户更关注WebUI的方法，所以可能需要说明如何在WebUI中直接操作，而无需命令行。 还需要考虑分析Thread Dump时的注意事项，比如多次抓取以确认问题，检查线程状态（如阻塞、死锁）等，这部分可以参考引用[2]的建议。 最后，用户可能还需要知道如何结合其他信息，比如CheckPoint或Metrics数据来定位问题，这可以引用[1]中的SubTask定位问题，但这里主要关注Thread Dump本身。 现在需要将这些信息结构化，分步骤说明访问路径、操作方法和分析技巧，确保符合用户的需求，并且引用正确的参考资料。同时，生成相关问题来帮助用户深入理解。</think>### 如何在Flink WebUI中查看和分析Thread Dump #### 一、访问Thread Dump的路径 1. **进入Flink WebUI** 打开浏览器，输入Flink集群的WebUI地址（默认端口为8081）。 2. **选择目标TaskManager** 在左侧导航栏点击 **Task Managers**，进入TaskManager列表页面。 3. **进入Thread Dump页面** 点击需要分析的TaskManager实例ID，进入详情页后选择 **Thread Dump** 标签页[^4]。 #### 二、Thread Dump页面功能解析 1. **线程状态概览** 页面会列出该TaskManager中所有Java线程的实时状态，包括： - **RUNNABLE**（运行中） - **WAITING**（等待资源） - **BLOCKED**（阻塞） - **TIMED_WAITING**（限时等待） 2. **线程堆栈详情** 点击任意线程名称，可查看完整的堆栈跟踪信息，帮助定位代码执行位置[^4]。 #### 三、Thread Dump分析方法 1. **识别异常线程状态** - 频繁出现`BLOCKED`状态的线程可能涉及资源竞争或死锁。 - 长时间处于`WAITING`的线程可能因外部依赖未响应（如网络IO）。 2. **关联监控指标** 结合 **Metrics** 页面的CPU/内存使用率、背压情况，判断线程问题是否由资源不足引起[^1][^4]。 3. **多次抓取对比** 建议间隔10-20秒多次抓取Thread Dump，若同一线程持续异常，可确认问题典型性[^2]。 #### 四、操作示例 ```plaintext 操作路径：WebUI → Task Managers → [选择TaskManager] → Thread Dump ``` 页面示例输出： ``` "Flink TaskManager" #17 prio=5 os_prio=0 tid=0x00007f1d8c1e4800 nid=0x2a3f waiting on condition [0x00007f1d3a7e7000] java.lang.Thread.State: TIMED_WAITING (sleeping) at java.lang.Thread.sleep(Native Method) at org.apache.flink.streaming.runtime.io.StreamInputProcessor.processInput(StreamInputProcessor.java:210) ``` #### 五、扩展分析工具 若WebUI信息不足，可： 1. **下载完整Thread Dump文件** 通过页面提供的下载按钮获取`.txt`文件，使用`jstack`或可视化工具（如VisualVM）分析。 2. **结合日志定位** 检查TaskManager日志中与线程异常时间点匹配的ERROR/WARN记录。 --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoreDao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值