Kettle Spoon 循环 详细全流程 JS控制循环

Kettle Spoon的循环实例 详细全流程 JS控制循环

1. 背景

因为在分析数据时,需要对所有店铺所有的listing进行一些分类查询操作。
一次性查找所有的店铺,查询时间会超上千秒,甚至会出现超时错误。
如果一次指定一个店铺,效率会提高数十倍
因此需要设置一个循环,每次查找一个店铺,将该店铺查询的数据保存到Excel表中。
实际业务会插入到数据库的表格中,插入Excel表中是出于教学目的。

该版本的最大循环条件为固定写死。想要自动调整最大迭代数的内容,可查阅 Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数

2. 具体流程

1) 主体Job

Kettle Spoon循环实例-Job

2)Start

3)设置变量

设置好最大循环次数 MAXROW ,以及当前的循环数

### 如何在 Pentaho Kettle ( Spoon ) 中设置和使用循环调用 #### 使用 Job Entry 实现循环逻辑 为了实现在 PDI 中的循环调用,可以利用 `Job` 和 `Transformation` 的组合。具体来说,可以通过创建一个包含条件判断的 `Job` 来控制是否重复执行某个特定的任务或一系列任务。 - **Start** 节点作为流程起点。 - 添加 **Get Variable** 或者其他获取变量的方式用于初始化计数器或其他必要的参数[^1]。 ```properties # 设置初始值, 假设存放在名为 counter 变量中 counter=0 ``` - 接下来加入 **Set Variables** 步骤设定每次迭代后的状态变更。 - 利用 **Jump to next sequence entry when result is true** 功能配合 **Evaluate JavaScript code** 进行条件检测,决定是否继续跳转回到前面定义好的位置重新开始一轮新的处理过程直到满足退出条件为止。 ```javascript var maxCount = 5; // 设定最大次数 if(parseInt(counter) < parseInt(maxCount)){ var result = "Y"; }else{ var result = "N"; } result; ``` 上述脚本会检查当前计数值是否小于预设的最大允许值;如果是,则返回 Y 表示应该再次运行下一个序列项;否则返回 N 结束整个 job 流程。 #### 自动化调度方案的选择 对于自动化调度的需求,在 Unix 平台下推荐使用 crontab 定期触发相应的 shell script 执行 ETL 工作流;而在 Windows 上则可通过系统的 Task Scheduler 创建定时任务来启动 .bat 文件或者其他形式的应用程序入口点去间接驱动 kettle jobs/transformations 的运转。 另外一种方法是编写自定义 Java 应用来直接操作 API 控制 kettle engine 启停指定资源实例并传递所需配置信息给它以便于灵活调整业务逻辑[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值