Kettle循环调用的实现

本文介绍Kettle中作业与转换的基础应用,包括如何在转换间传递数据、使用环境变量及实现作业循环执行直至无数据可取的过程。通过具体实例展示了如何从数据库读取数据进行处理,并标记已处理状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  今天来和大家讲一下Kettle的一些基础应用,本文包括如何将转换中的结果转出到作业中;转换如何从父作业中获取上一个转换写入的数据;以及设置变量和获取变量的用法。不多说先看最终的作业和转换。

作业:

 

 

转换1:

 

 

转换3:

 

 

    这里先说一下思路,在Mysql数据库中保存了一些数据,第一个转换从数据库读取数据并把一些参数设置到环境变量中,第二个转换读取第一个转换获取的数 据,并获取环境变量的值,根据这些数据做一些操作(这里只作演示所做的操作是把它们输出到文本中),然后把数据库表中处理过的这条数据打上处理过的标记(这里是用的时间,第一个转换取的时候判断 小于当日的数据全部取出,处理完后将日期更新成当前日期),在作业中设置作业重复执行,并判断当第一个转换没有取 到数据时中止整个作业。

注意:

1、第一个转换取到的每一行值第二个转换都可以有运行一次

2、第一个转换设置环境变量只能有一条数据

也就是说如果 你不用设置变量这个组件可以一下把表中所有的数据都取出来,在第二个转换中处理每行数据处理一次,如果用设置环境变量第一个转换每次只能取一条数据

在作业中判断当转换1中没有取到值时结束整个作业。

注意:作业中第二个转换时要把执行每一个输入行选上!



 

OK 今天就到这里吧!

 

 

我的Email:zhaizhisheng@sina.com

我的博客:http://alenzhai.iteye.com/

另外也欢迎大家加入 下面的群来聊一聊 开源BI那些事!

开源BI交流


### 如何在 Pentaho Kettle ( Spoon ) 中设置和使用循环调用 #### 使用 Job Entry 实现循环逻辑 为了实现在 PDI 中的循环调用,可以利用 `Job` 和 `Transformation` 的组合。具体来说,可以通过创建一个包含条件判断的 `Job` 来控制是否重复执行某个特定的任务或一系列任务。 - **Start** 节点作为流程起点。 - 添加 **Get Variable** 或者其他获取变量的方式用于初始化计数器或其他必要的参数[^1]。 ```properties # 设置初始值, 假设存放在名为 counter 变量中 counter=0 ``` - 接下来加入 **Set Variables** 步骤设定每次迭代后的状态变更。 - 利用 **Jump to next sequence entry when result is true** 功能配合 **Evaluate JavaScript code** 进行条件检测,决定是否继续跳转回到前面定义好的位置重新开始一轮新的处理过程直到满足退出条件为止。 ```javascript var maxCount = 5; // 设定最大次数 if(parseInt(counter) < parseInt(maxCount)){ var result = "Y"; }else{ var result = "N"; } result; ``` 上述脚本会检查当前计数值是否小于预设的最大允许值;如果是,则返回 Y 表示应该再次运行下一个序列项;否则返回 N 结束整个 job 流程。 #### 自动化调度方案的选择 对于自动化调度的需求,在 Unix 平台下推荐使用 crontab 定期触发相应的 shell script 执行 ETL 工作流;而在 Windows 上则可通过系统的 Task Scheduler 创建定时任务来启动 .bat 文件或者其他形式的应用程序入口点去间接驱动 kettle jobs/transformations 的运转。 另外一种方法是编写自定义 Java 应用来直接操作 API 控制 kettle engine 启停指定资源实例并传递所需配置信息给它以便于灵活调整业务逻辑[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值