ETL工具kettle实现循环

最新推荐文章于 2025-05-31 03:00:00 发布
最新推荐文章于 2025-05-31 03:00:00 发布
阅读量4.4k 收藏 10
点赞数 2
CC 4.0 BY-SA版权
分类专栏： ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangchun888/article/details/48998429
该博客详细介绍了如何利用Kettle进行循环处理，包括作业图构建、转换图的设置，如获取数据、查询、使用JavaScript脚本、循环控制器等步骤。通过循环控制器和变量的配合，实现了对Regiondetail值的逐次查询，并将结果输出到Excel，每次循环的主键ID作为文件名。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.   实现循环

(1)    作业图


(2)    转换图：获取数据_变量


(3)    转换图：获取数据_查询



(4)    得到数据表的主键ID，复制记录到结果中


最低0.47元/天 解锁文章

200万优质内容无限畅学
Kettle实现步骤循环执行
10-26
Kettle实现步骤循环执行 Blog：http://blog.youkuaiyun.com/jdk2006/article/details/13019093
ETL工具Kettle简介和安装配置基本使用.pdf
03-31
Kettle是一款广泛使用的ETL工具，其特点和使用方法如下： 1. Kettle简介： Kettle是一款开源的ETL（Extract-Transform-Load，即数据抽取-转换-加载）工具，采用纯Java语言编写，因此它可以在Windows、Linux、Unix等...
etl工具，kettle实现循环
热门推荐
数据服务中心，数据平台，数据开发
10-01 2万+
业务模型： 在关系型数据库中有张很大的表，被设计成奇偶库存储，每个库100张一模一样的表，每张表存储1000W，字段切换到下一个表。现需要同步这个数据到hive中（hdfs），循环抽取这些数据。如果是抽取增量的带上增量字段（每天增量数据存储在哪个表，奇数库还是偶数库是不知道的）。
学习笔记：基于Kettle实现自动分页迁移的详细流程步骤（无需作业构建）
最新发布
wallace2018的博客
05-31 477
该流程通过动态变量控制分页边界，每轮循环仅加载单批次数据，避免全量查询导致的性能问题。实测迁移速度可达5-10万条/分钟（取决于硬件配置）。
Kettle实现循环的两种方法
gladmustang的专栏
12-09 1万+
Kettle实现循环有两种方式： 一种是在Job中引用Transformation时，可通过设置Transformation 的高级属性（”执行每一个输入行”）来实现Transformation 的循环，具体例子可以参考下面的链接： Kettle实现Transformation 循环及跳出 另一种方式是通过job中的"Evaluatiing Javascript" 和 "
etl循环跑数据(mysql)
An342647823的专栏
01-26 2067
DELIMITER $$ USE `dw`$$ DROP PROCEDURE IF EXISTS `sp_job_etl_loop_tmp`$$ CREATE DEFINER=`data`@`%` PROCEDURE `sp_job_etl_loop_tmp`() BEGIN /*******************************************
Kettle实现循环功能！！！
像豆芽一样优秀
08-11 1万+
Kettle实现循环功能！！！ 一、结果图 通过启动循环程序，点击确定弹出窗口的确定按钮，依次弹出“张三”、“李四”、“王五”，实现了简易的循环功能。 二、流程图 通过自定义“张三”、“李四”、“王五”的三条数据，依次执行该程序，达到循环的功能实现。 三、各个组件解析 通过组件 “自定义常量数据” 定义三条数据，将数据复制到结果中。 （1）、定义三个字段 （2）、填入数据（几条数据循环几次，这个值也可以通过变量实时变动，比如一个数据库有几张表） 通过 “复制记录到结果” （后续可以通过 ${F
ETL工具Kettle用户手册
03-18
ETL（Extract, Transform, Load）工具是数据仓库和大数据处理中的关键组件，负责从不同来源提取数据，对其进行转换...对于希望深入了解Kettle的用户，阅读《ETL工具Kettle用户手册》（上下两部分）将是十分有益的资源。
ETL工具kettle用户手册
07-21
### ETL工具kettle用户手册知识点详述 #### 一、Spoon介绍 **1.1 什么是Spoon** Spoon 是 Kettle 的图形界面工具，用于设计、调试和执行 ETL (Extract, Transform, Load) 作业和转换。它是 Kettle 项目中的核心...
ETL工具KETTLE常用设计之——自动循环
LSY_优快云_的博客
12-22 1042
1、主体思路： 有主作业、子作业两个作业组成这个流程，在主作业中，首先调用一个转换用来获取指定的需要循环的变量值并将内容复制到结果记录，然后调用一个子作业，子作业中先调用一个转换用来结果记录中的信息，然后设置变量，变量有效范围为parent_job，然后子作业再调用一个转换，用来执行具体的数据处理逻辑的转换中，在使用到循环变量的时候，就引用设置的变量即可，这样就可以实现将循环变量自动循环执行每一...
kettle开发-Day36-循环驱动作业
qq_29061315的博客
02-13 2479
kettle循环教程，人生大概也像一场场电影循环开幕、谢幕。
Kettle循环遍历结果集作为参数传入转换.zip
03-26
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
kettle另一种简单的循环方式
12-12
kettle循环从oracle源表分页读数据，写入oracle目标表。希望能对你做分页插入有所帮助！！！
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
kettle使用job变量实现循环例子
07-18
kettle通过在job中变量来实现循环的例子：首先从文本文件读取表名，然后循环一个个表读取数据，其中最开始的文本文件输入表名可以改为从其他地方输入（比如表输入，网络请求等）
ETL工具kettle之循环job
admin1973的专栏
04-11 2965
kettle的功能此处就不做过多的介绍了,此处主要是记录一下自己第一次使用kettle工具迁移数据的经历.需求:将两个mysql数据库(DB1,DB2)中的数据拷贝到一个中间库(DB3)中,然后在中间库总进行多张表关联查询出最终的结果并输出到另一张表中.所有数据是以店铺号(shop)和商品编码(productSaleId)作为唯一索引.每次需要处理N个店铺的商品. 实现: 编写三...
kettle 简单循环
weixin_34194551的博客
03-17 329
javascript脚本 var v1 = Packages.java.lang.Integer.valueOf(parent_job.getVariable("num",0), 10).intValue(); v1=v1+1; parent_job.setVariable("num",v1); true; 复制代码
ETL学习之六：在SSIS中使用循环
码农中的战斗鸡的博客
05-17 551
      在第 1 课：创建简单 ETL 包中，创建了从单个平面文件源提取数据的包，然后使用查找转换功能对数据进行了转换，最后将数据加载到 AdventureWorksDW 示例数据库的 FactCurrency 事实数据表中。 但是，提取、转换和加载 (ETL) 过程很少使用单个平面文件。典型的 ETL 过程从多个平面文件源提取数据。从多个源提取数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值