IDEA远程Debug（FLink）

最新推荐文章于 2023-09-19 16:47:20 发布
原创 最新推荐文章于 2023-09-19 16:47:20 发布 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#远程调试 #Flink #Debug

本文详细介绍如何在Flink集群中配置远程调试，包括编辑配置文件、添加远程调试参数及解决常见问题。确保本地代码与集群一致，避免连接超时和端口冲突。
  1. 点击框框的编辑选项
    在这里插入图片描述
  2. 按下图添加远程调试，并配置参数
    在这里插入图片描述
  3. 将框里的字符串复制出来，并在前面加固定字符串，下面是需要在FLink配置中添加的完整字符串：
    env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8843
    在这里插入图片描述
  4. 在Flink集群的某一节点上（建议远程Debug只留一个节点），找到Flink的配置文件flink-conf.yml，将第3步中的字符串添加进去，保存，并重启该节点的TaskManager服务。
  5. 启动。
    在这里插入图片描述

注意

  • 如果连接超时，多半是IP地址填写错误了…（别问我为啥知道，心里苦）
  • 如果是提示 java.net.ConnectException "Connection refused: connect"，首先先检查端口有没有被占用，如果没有被占用，那么恭喜，很有可能是集群中有多个节点的配置文件中，都被添加了第3步中的配置，导致端口被重复使用了，这时候只保留其中一个节点的配置就行，其余节点的配置文件中，把那句配置删掉。（这个也别问我为啥知道。）

至此远程Debug工作就已经准备完毕了，发布一个Job就可以愉快的调试了。（记得要保证本地的代码和Flink上所用的代码是一致的。）

【flink】Flink 使用IntelliJ IDEA 进行远程调试代码
九师兄
08-07 2143
1.概述 转载：Flink 使用IntelliJ IDEA 进行远程调试代码 Flink on Yarn 不好调试, 所以需要用到远程调试. 注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致. 二 .服务器端配置. 2.1. 设置启动远程debug端口 修改 服务器上的配置文件 ${FLINK_HOME}/flink-config.yaml 增加 环境变量即可. 参考的设置 组件环境变量设置Clientenv.java.opts.client: -agentlib:jdwp=transp.
Flink on Yarn 远程 debug 应用提交流程及源码分析
逆流而上Mr李
12-13 2986
采用flink 1.13.2版本对flink on yarn per-job 模式进行流程分析及源码调试
idea远程debug flink任务
cn987654的博客
01-25 672
idea远程debug flink任务 主要记录一下远程debug flink的过程，使用的资源调度器是yarn。 版本信息：flink-1.11 idea-201803(安装后一直没更新) 配置 由于任务是调度在yarn上，这里存在多个flink任务，因此将java环境变量配置在任务启动过程中，其他flink配置正常使用。 -yD "env.java.opts.jobmanager=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address
IDEA上运行Flink任务
热门推荐
程序员欣宸的博客
04-11 1万+
将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础。
在IDEA下运行flink环境及web ui,debug调试
leichangqing的博客
09-19 1439
即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我们介绍了在本地环境中使用 Apache Flink 的基础知识和一些典型陷阱。在本地运行作业时，日志级别非常详细，可能很难在 Flink 消息之间找到您的消息。有关更多信息，请参阅 官方文档中的测试 Flink 作业。你也可以在官方的 Flink 训练测试中找到很好的例子。在 IDE 中运行 Flink 作业的好处之一是能够像往常一样使用断点调试 Flink 作业。
【Flink源码系列】Flink on yarn 远程调试源码
JasonLee实时计算
04-03 2055
大家好，我是 JasonLee。前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 IDEA 里面打个断点，然后以 debug 模式启动就可以一步步调试代码了。其实 Flink on yarn 远程调试也不复杂，只需要简单的配置即可。集群配置(flink-conf.yaml)在 fl...
使用 .idea 远程调试 flink 程序
yuchuanchen的专栏
10-15 1358
flink 配置 调试 client 修改 bin/flink 脚本，在 exec $JAVA_RUN $JVM_ARGS $FLINK_ENV_JAVA_OPTS "${log_setting[@]}" -classpath "manglePathList “CCCLASSPATH:CC_CLASSPATH:CCC​LASSPATH:INTERNAL_HADOOP_CLASSPATHS”" org.apache.flink.client.cli.CliFrontend "$@" 命令之前，添加下面的命令：
使用IntelliJ IDEA进行远程调试Flink大数据代码
JieLun_C的博客
08-28 770
本文将介绍如何使用IntelliJ IDEA进行远程调试Flink代码的步骤，并提供相应的源代码示例。通过使用IntelliJ IDEA进行远程调试，我们可以方便地对Flink大数据代码进行调试和排查问题。本文介绍了使用IntelliJ IDEA进行远程调试Flink代码的步骤，并提供了一个简单的WordCount示例。在IntelliJ IDEA中，点击右上角的"Debug"按钮，选择之前创建的远程调试配置。在IntelliJ IDEA中，点击"Debug"按钮启动Flink作业。步骤4：启动远程调试。
flink实战--idea本地提交Flink任务到远程的集群
阿华田的博客
01-08 4910
简介 你是不是还在打包上传到远程集群运行flink任务？这样会浪费很多时间，为了节约大家的时间，flink提供了createRemoteEnvironment方法，可以实现本地任务提交到远程集群的方法，本文具体介绍一下。 createRemoteEnvironment 源码如下：org.apache.flink.api.java.R...
Flink 远程调试
石权的博客
04-28 5162
Flink 远程调试 原文链接 https://cwiki.apache.org/confluence/display/FLINK/Remote+Debugging+of+Flink+Clusters 不好意思，按照原文操作，是有BUG的。 BUG说明 Flink的文档中告诉你这么操作，在conf/flink-conf.yaml中添加如下一行： -agentlib:jdwp...
【Flink】Flink on yarn 远程调试
九师兄
05-28 1379
1.概述 转载：Flink on yarn 远程调试 大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 IDEA 里面打个断点，然后以 debug 模式启动就可以一步步调试代码了。其实 Flink on yarn 远程调试也不复杂，只需要简单的配置即可。 2.集群配置(flink-conf.yaml) 在 flink-conf.yaml 配置文件中添加下面三行配置 # 远程调试 en
对Flink集群进行远程调试
先云的博客
01-01 7525
导读：在学习或者使用各个大数据框架的时候，往往想对runtime层次的代码进行调试或者跟踪阅读，但其往往部署在其他机器上，因此需要进行远程调试。本文以Flink为例，介绍如何通过IDEA进行Flink的runtime层次的远程调试。 环境：   Flink1.4.2   IntelliJ IDEA   虚拟机模拟的Flink集群 先对Flink的作业提交过程进行简单介绍(以批处理为例)...
flink 远程调试
qq_26887089的博客
07-29 770
flink远程调试flink配置idea 配置 flink配置 flink-conf.yaml #配置远程调试 env.java.opts.jobmanager: “-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005” env.java.opts.taskmanager: “-agentlib:jdwp=transp...
Flink 使用IntelliJ IDEA 进行远程调试代码
张伯毅的专栏
04-06 2512
.一 .前言二 .服务器端配置.2.1. 设置启动远程debug端口2.2. 具体操作三 .Idea配置3.1. 配置远程连接3.3. 启动调试 一 .前言 Flink on Yarn 不好调试, 所以需要用到远程调试. 注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致. 二 .服务器端配置. 2.1. 设置启动远程debug端口 修改 服务器上的配置文件 ${FLINK_HOME}/flink-config.yaml 增加 环境变量即可. 参考的设置 组件 环境变量设置
flink 作业远程调试和源码调试
liangfeng的博客
09-19 2422
flink 作业远程调试 背景：开发过程中有时候需要调试集群中的作业或者源码 集群配置： 文件flink-conf.yaml 添加两行 # jobmanager debug端口 env.java.opts.jobmanager: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5006" # taskmanager de...
【源码｜编译】flink 12 源码编译及使用idea运行、debug
hiliang521的博客
08-09 1702
flink 源码编译运行
Intellij IDEA debug 模式
GatsbyNewton
09-22 1081
Debug模式是开发人员必会的一项调试程序的技能，用来追踪代码的运行流程，线上问题追踪，程序运行异常定位调试，以及在运行过程中参数的变化。IDEA的debug对于新手如何快速上手呢？ 一、基本介绍 本篇文章是基于 IntelliJ IDEA 2018.1.6 版本，最新的版本 2018.2 已经出来了，支持 Java11，Debug 模式的图标设计虽有微调改动，但是功能大体相通。 上图爬虫的图标...
flink远程idea debug
最新发布
05-29
### 在 IntelliJ IDEA 中设置远程调试以运行 Flink 任务 要在 IntelliJ IDEA 中设置远程调试以运行 Flink 任务，需要完成以下几个方面的配置。以下是详细的说明和步骤： #### 1. 配置服务器端的 JVM 调试选项 在服务器端启动 Flink 的 JobManager 或 TaskManager 时，需要通过配置文件或命令行参数启用调试模式。可以通过修改 `${FLINK_HOME}/conf/flink-conf.yaml` 文件来添加以下内容[^4]： ```yaml # JobManager 调试端口 env.java.opts.jobmanager: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005" # TaskManager 调试端口 env.java.opts.taskmanager: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5006" ``` - `suspend=n` 表示 JVM 启动时不等待调试器连接。 - `address=5005` 和 `address=5006` 分别为 JobManager 和 TaskManager 的调试端口。 如果使用命令行启动 Flink 程序，可以直接添加调试参数[^3]： ```bash flink run -t yarn-per-job -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount examples/streaming/SocketWindowWordCount.jar --port 9999 ``` 同时确保 JVM 参数中包含调试选项： ```bash -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 ``` #### 2. 配置 IntelliJ IDEA 的远程调试环境 在 IntelliJ IDEA 中配置远程调试的具体步骤如下[^2]： - 打开菜单 `Run -> Edit Configurations...`。 - 点击左上角的 `+` 按钮，选择 `Remote`。 - 在弹出的窗口中，填写以下信息： - **Name**: 输入一个名称，例如 `Flink Remote Debug`。 - **Host**: 远程服务器的 IP 地址（例如 `192.168.1.100`）。 - **Port**: 对应的调试端口（例如 JobManager 的 `5005` 或 TaskManager 的 `5006`）。 - 勾选 `Use module classpath`，并选择要调试的模块。 - 点击 `OK` 完成配置。 #### 3. 启动远程调试 - 在服务器端启动 Flink 程序后，确保 JVM 已经加载了调试参数。 - 在 IntelliJ IDEA 中，选择刚刚创建的调试配置（`Flink Remote Debug`），然后点击 `Debug` 按钮。 - IDEA 将尝试连接到指定的远程主机和端口。如果连接成功，可以开始设置断点并进行调试。 #### 4. 示例代码 以下是一个简单的 Flink 程序示例，用于验证调试是否正常工作： ```java import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.util.Collector; public class SocketWindowWordCount { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> text = env.socketTextStream("localhost", 9999); text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String value, Collector<Tuple2<String, Integer>> out) { for (String word : value.toLowerCase().split("\\W+")) { if (word.length() > 0) { out.collect(new Tuple2<>(word, 1)); } } } }) .keyBy(value -> value.f0) .sum(1) .print() .setParallelism(1); env.execute("Socket Window WordCount"); } } ``` ### 注意事项 - 确保服务器端的防火墙允许调试端口（如 `5005` 和 `5006`）的流量。 - 如果 `suspend=y`，则 JVM 启动后会等待调试器连接，直到连接成功后才会继续执行程序。 - 调试过程中，可以利用 IDEA 的断点、变量查看等功能分析程序行为。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值