
kettle循环
仰望星空的我
仰望星空,脚踏实地。
展开
-
Kettle parameter方式实现循环
先看一下job如下:在看一下设置循环条件的trans(图片里一个字写错了,大家不要在乎这些细节):再看一下循环执行的trans:最后最重要的看一下job里循环执行的trans的设置:执行结果如下:...转载 2018-07-09 18:15:59 · 298 阅读 · 0 评论 -
Kettle作业步骤循环执行的实现
场景:User_Tables存放着系统用户的表信息,其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表,使用Kettle实现循环执行这些表。例如统计表A、B的总行数:SELECT COUNT(1) FROM A;SELECT COUNT(1) FROM B;这些SQL语句除开表名外,其他部分都是一样的,所以在使用KETTLE抽取数据时,Kettle...转载 2018-07-09 17:56:42 · 9581 阅读 · 0 评论 -
kettle实现循环
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 业务模型: 在关系型数据库中有张很大的数据存储表,被设计成奇偶库存储,每个库100张一模一样的表,每张表存储1000W,自动切换到下一个表。现需要同步这个数据到hive中(hdfs),循环抽取这些数据。如果是抽取增量的带上增量字段(每天增量数据存储在哪个表,...转载 2018-07-09 17:47:27 · 7409 阅读 · 0 评论 -
kettle循环执行作业中结果集中数据获取
1.JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果,数据库中查询的结果集if (prevRow == null &&(prevRow.size()=0)){ false; }else{ parent_job.setVariable("tables", prevRow);//ArrayList存储...转载 2018-07-09 17:41:11 · 16266 阅读 · 5 评论 -
kettle 递归循环抽取oracle数据库数据
kettle 递归循环 var i = new Number(parent_job.getVariable("i"))+1;parent_job.setVariable("i",i);true;转载 2018-07-09 17:28:09 · 2732 阅读 · 1 评论