DolphinScheduler JavaTask动态传参秘籍：轻松实现任务间数据流动

DolphinScheduler JavaTask动态传参秘籍

最新推荐文章于 2025-09-14 04:21:07 发布

原创

最新推荐文章于 2025-09-14 04:21:07 发布 · 677 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。

那具体要怎么做呢？本文将进行详细的讲解。

0 修改一行源码

org.apache.dolphinscheduler.plugin.task.java.JavaTask

file

1、针对JAVA类

流程定义图

file

1.1、javaTaskForClass设置

file

1.2、taskA设置

file

1.3、taskA输出

INFO] 2024-07-11 21:38:46.121 +0800 - Set taskVarPool: [{"prop":"output","direct":"IN","type":"VARCHAR","value":"123"}] successfully
[INFO] 2024-07-11 21:38:46.121 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:38:46.121 +0800 - *********************************  Execute task instance  *************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - Final Shell file is: 
[INFO] 2024-07-11 21:38:46.122 +0800 - ****************************** Script Content *****************************************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - #!/bin/bash
BASEDIR=$(cd `dirname $0`; pwd)
cd $BASEDIR
source /etc/profile
export HADOOP_HOME=${HADOOP_HOME:-/home/hadoop-3.3.1}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/home/s