Kettle(PDI)中在job中循环使用上一个转换的结果

最新推荐文章于 2025-03-13 10:43:38 发布
最新推荐文章于 2025-03-13 10:43:38 发布
阅读量768 收藏
点赞数
分类专栏： Java Web开发 大数据与人工智能 文章标签： 大数据 java kettle pdi
转载注明出处
本文链接：https://blog.youkuaiyun.com/qq_15973399/article/details/117810886
版权
本文介绍了如何在Kettle（PDI）的JOB中利用JavaScript步骤循环使用前一个转换的输出数据。首先，通过previous_result.getRows()获取数据列表，然后用parent_job.setVariable()设置变量。在检查字段步骤中，判断索引和数据列表大小以确定循环条件，JavaScript 2用于更新索引。示例提供了详细的操作流程和下载链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需求

一个转换获取了一组数据，后续转换需要根据此转换的每一行进行后续操作。

示例

转换1

此抓换提供了一组数据
在这里插入图片描述
元数据
在这里插入图片描述
数据
在这里插入图片描述

转换2

此转换需要循环换取上一个转换的数据
在这里插入图片描述

数据
在这里插入图片描述
获取字段
在这里插入图片描述

定制文件
在这里插入图片描述

JOB

在这里插入图片描述

JavaScript
var prevRow=previous_result.getRows();
if (prevRow == null &&(prevRow.size
最低0.47元/天 解锁文章
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
Java获取kettle转换的结果集
08-09
Java获取kettle的结果集
kettle的转换中“从以前的结果获取记录”会导致其所在的kjb工程循环执行吗
最新发布
qq_47738571的博客
03-13 245
Get rows from result” 仅读取父作业传递的当前行数据，不会仅循环当前转换，而是循环整个作业，因为循环逻辑由作业控制。”（Get rows from result）是用于在作业（Job）或转换（Transformation）之间传递数据的步骤。”的核心作用是从父作业或前序步骤中接收结果集（Result Rows），并将这些数据用于当前转换的后续处理。该步骤通常用于转换中，直接读取父作业传递的结果集。循环执行由作业的“执行每个输入行”控制，而非转换中的步骤。
Kettle的第二个实践--数据获取并转换
jiangtie的专栏
03-05 250
Kettle的第二个实践--数据获取并转换 需求： kettletest1数据库中有table_source数据表，结构如下： [code="java"] Id 主键 t_id 数据时间 part_id 实例ID yg 数据字段1 wg 数据字段2 ...
kettle获取上一步骤的参数并执行表输入
10-30 8743
假设场景：需要定时获取增量数据，并交换到其他库，需要先获取本地库最大的编号后，把该参数传递到第三方后查询增量数据。 1、 整体流程 2、表输入：用来查询本地数据库最大的已同步编号，需要把参数maxId传递到下一步骤 3、表输入组件接受参数 ...
kettle 转换命名参数从将上一转换的参数传递到下一转换中
ispringmw的博客
09-18 6633
kettle 转换命名参数从将上一转换的参数传递到下一转换中 1.知识点 1）如何将转换中的行记录传递到job（结果）中。 2）如何使用转换的命名参数功能获取到上一转换中的参数。 2.需求及实现 1）需求： ​ 如下图所示在转换1中将转换中的结果值传递到作业中，通过转换2的转换命名参数设置接收来自job中的值并将其设置为参数传递到转换2的内部。 2）实现： 实现将转换1中的结果值从转换传递到job中。 从表输入中获取值，通过组件复制记录到结果将表输出查询到的结果发送到job作业流中。 通过转换
Kettle TableInput 将从前一步骤获取参数整合到数据流中
maenlai0086的博客
01-30 2809
1 测试环境 Kettle 版本 5.0  数据库 Oracle 11g R2  Eclipse 2 第一种方式处理 如上图所示，采用记录关联步骤，实现前一步骤和tableInput步骤数据流整合在一起，但是这样处理一个局限性，就是tableInput步骤前一步骤查询的结果值有且只有一行时，数据流才是正确，因为这个方式采用了笛卡尔积进行数据关联。 3 第二种方式处理 对tableInput...
kettle另一种简单的循环方式
12-12
例如，可以创建一个JavaScript步骤，计算总页数，并在Job中使用"Start"和"Jump to step"步骤来控制循环。每次循环结束时，更新查询的页码，然后再次调用"Table Input"步骤获取下一批数据。 3. **数据写入**：处理后...
Kettle循环遍历结果集.zip
03-26
本示例中的"Kettle循环遍历结果集.zip"是一个针对Kettle8.2版本设计的实战案例，展示了如何在Job中实现这一功能并将输出写入日志。 首先，理解Kettle中的Job与Transformation的区别至关重要。Job是Kettle的工作流，...
KETTLE 批量处理，转换命名参数将上一转换的结果传递到下一转换中
亮大大的博客
10-17 2265
KETTLE 批量处理，转换命名参数将上一转换的结果传递到下一转换中
Kettle循环遍历结果集作为参数传入转换.zip
03-26
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
Kettle循环遍历结果集作为参数传入转换
11-19
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
kettle循环取结果集进行处理方法一(使用js)
weixin_44135544的博客
12-11 7010
需求 循环取结果集中的一行，再根据单个结果进行处理 此处实例：从test库取id字段结果集，存储（id,2 x id）到set_value表中 前提 test表： set_value表： 具体步骤 第一步： 新建转换get_id_rows: 第二步： 新建作业： 按图所示连接各个组件 第一个js： var prevRow=previous_result.getRows(); # 获取上一步...
Kettle的事务和转换内步骤的顺序执行,借用一个转换传入不同条件进行同步数据
wang_bao_chao的博客
06-30 2493
特殊说明（来源于网络） kettle中转换和作业的执行顺序： 1、一个作业内的转换，是顺序执行的。 2、一个转换内的步骤是并行执行的。 3、作业内不支持事务，转换内支持事务。 根据业务需要，通常需要在转换内顺序执行，如下： 1、执行SQL是优先于所有步骤。 2、使用“阻塞数据直到步骤都完成”，确保其他数据步骤都完成再进行下一步骤。 事务: 1、设置转换只使用一个事务。转换设置-->夹项-->使用唯一连接。 2、设置转换内...
Excel导入数据库，使用PDI
扶摇而上九万里
06-01 863
Excel 工具 导入 Excel工具导入1.下载PDI(PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个)https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download2.把m...
Kettle循环获取结果集
stormkai的专栏
03-26 7293
1. Kettle循环获取结果集 1.1 效果图 job（j1.job） t1（t1.job） 1.2 转换介绍 自定义常量数据 写日志 点击 获取字段 会获取上一步 自定义常量数据 中的 元数据 。将其在运行中作为日志输出 复制记录到结果集 把自定义常量记录复制到结果集。然后在job中循环获取 1.3 job介绍 转换 JavaScript var...
JAVA运行Kettle的JOB或者转换的总结
qq_38625056的博客
10-10 1041
第一步，连接资源库 本例采用的是单例设计模式，这样做的优点是如果资源库已经连接，则不必重新连接 下面直接上代码 package com.qm.util; import java.io.File; import java.io.IOException; import org.jeecgframework.core.util.PropertiesUtil; import org.pentah...
kettle表输入传动态参数，将表输入转换放到job中，命令传参
热门推荐
Mr.Zheng的博客
11-23 1万+
前言 写一个转换，转换中有获取系统变量和设置变量，还有表输入等其他信息。 将转换放到一个job中，利用./kitchen.sh 来传递参数。 这里需要设置作业里的参数和转换里的参数，为了描述下面一些特殊操作，所以特此记录！ 1.点击titile 例如在job作业中，点击star组件，会弹出一个提示框 红色框部分即为titile，双击以后就会看到设置job的页面，转换同理！ 2.设置作业参数 点击命名参数，然后在里面编辑你传递的参数名！ 创建一个转换 1.获取系统信息变量 因为表输入里动态参数为proct 2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值