Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数

1、kettle知识点系列之kettle的循环模式 这种模式是在我使用复杂模式后,我连接的资源库常常会因为这个循环导致速度慢、卡等问题,最后发现了这种模式。这种模式是在我解决问题的过程中自己写的,刚开始我使用简单模式处理场景需求,但是我的作业比较复杂,循环需要执行的地方是作业,作业中又有很多作业,作业中的转换又有。这是我个人做的一个循环demo作业,对于简单模式的循环,一般执行的循环体为转换,如果为作业,作业中不能有。组件,这样导致每次循环控制都是下标越界异常,最后发现是因为后续的复制记录到结果集覆盖掉了获取DB参数那里的结果集。(6)设置变量的使用。... 阅读详情

Kettle Spoon 循环实例v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数

一、上一版 无法自适应最大循环次数

在 Kettle Spoon 循环 详细全流程 JS控制循环 版中,介绍了如何利用JS代码控制 Kettle Spoon 循环,对于大部分需要循环的场景,已经足够。不过该版本存在一个问题,最大迭代数通过设置变量的形式写死,导致无法自适应调整,对于需要自动调整最大迭代次数的场景而言,稍显不足。

二、当前版本解决了最大循环次数无法自动调整的问题。

基本思路:通过事先设置总迭代数变量,利用转换查找最大迭代次数,设置迭代数变量回传给父作业,实现最大循环次数的查找和自适应调整。

三、具体流程

Kettle Spoon循环实例v2-Job
与第一版相比,只增加了一个转换,用来查找和回传最大迭代数。

1)设置作业属性,新增命名参数

  1. 双击作业空白处,弹出作业属性一栏
  2. 在作业属性上方功能栏中选择命名参数
  3. 新增命名参数:TOTALROW,默认值自己设置,此处设置10
  4. 点击确认
    Kettle Spoon循环实例v2-新增参数

2)新增转换,查找最大迭代数

Kettle Spoon循环实例v2-新增转换-查找最大迭代数

2.1)新增转换的步骤图

Kettle Spoon循环实例v2-转换-步骤图

2.2)表输入,查找所有店铺数

Kettle Spoon循环实例v2-转换-最大迭代数

select
	COUNT(ose.id) TotalRow
from dbo.RB_OrderSource_Ebay ose (nolock)
where ose.status=1
2.3)设置变量,回传最大迭代数

注意:设置变量时,需要与父作业中初始设置的命名参数相一致,即为 TOTALROW。
且,变量活动类型,需要设置为父作业有效
Kettle Spoon循环实例v2-转换-设置变量回传变量

3)设置变量,获取回传最大值,设置最大可迭代次数

将最大可迭代次数调整为
变量名:MAXROW,值:${TOTALROW}
变量名:CURRENTROW,值:0
在根作业中有效。
勾选变量替换。
备注:此处的变量设置与上一版 稍显不同,上一版设置的 MAXROW 为固定值 570
Kettle Spoon循环实例v2-设置最大可迭代次数

4) JS脚本:设置循环条件和循环体

此后与 Kettle Spoon 循环 详细全流程 JS控制循环 完全相同。
参考:具体流程 --> 4)JS脚本:设置循环条件和循环体

使用Kettle循环处理数据(方式一) 1、loop1_step1转换流程: 详细配置如下: (1)“从结果获取记录”组件 “字段名称”需要手动填写 (2)“设置变量”组件: 只有在点击“获取字段”时,变量名才会是大写的 2、loop1_step2转换流程: 详细配置如下: (1)“表输入”组件: (2)“表输出”组件 3、loop1_job1作业流程: 详细配置如下: (1)“转换”1组件: (2)“转换”2组件: 4、loop1_step3转换流程: 详细配置如下: (1)“Excel输入”组件: (2)“复制记录到结果” 阅读详情

相关推荐

spoon工具的常用基础操作

先创建一个作业,这个作业流程,包括进行设置变量转换,查询结果输出转换,方便后续循环。整个流程写完后,执行作业5_执行整个流程,成功后,可以在数据库查看结果。,新建一个转换,excel表输入然后复制记录到结果,保存转换文件。这三个用户下 都有一张emp表 分别是 三个部门的用户信息。,新建一个数据库连接,变量命名用户名和密码。成功执行后,可以到保存的excel位置进行查看。emp表输入,可以进行预览查看数据有没有过来。输出到一直excel表,运行结果输出。,新建一个转换,拖拽。

qq_43583887的博客 5831

Kettle Spoon 循环 详细全流程 JS控制循环

Kettle Spoon的循环实例 详细全流程 JS控制循环

garbageSystem的博客 1192

Kettle循环实战:四种经典模式与参数传递深度解析

在数据集成与ETL(Extract, Transform, Load)领域,循环是处理批量、重复性任务的核心控制结构。其原理在于通过条件判断和状态迭代,驱动同一段数据处理逻辑多次执行,从而实现自动化。掌握循环技术对于构建高效、可维护的数据管道具有重要价值,它能显著提升数据工程师在处理分页查询、文件遍历、结果集迭代等场景下的工作效率。本文聚焦于Kettle(Pentaho Data Integration)这一广泛使用的图形化ETL工具,深入剖析其实现循环的独特设计哲学——通过作业调度转换、参数驱动迭代。文章

weixin_30694389的博客 325

Kettle变量和参数介绍系列文章3-循环的轻松实现

本文详细说明两种实现循环操作的方法,0编程经验的人也可以看懂,使用Kettle做数仓工具的可以看一下。

m0_69586799的博客 4503

Kettle实现步骤循环执行

Kettle实现步骤循环执行 Blog:http://blog.youkuaiyun.com/jdk2006/article/details/13019093

基于mediapipe的动作捕捉和unity的人物模型驱动

用到的人体关键点检测的算法是Google开发的基于深度学习的实时多媒体套件,汇集了人体、手部、人脸关键点追踪、物体检测、物体识别等多个流行的视觉任务的成果。整套 Mediapipe正如其名字,专门为便携设备上的多媒体应用设计,模型非常小,在笔记本手机上也能实时跑,跨平台、跨语言。mediapipe实时性是没什么问题。但是是以牺牲了质量为代价的,这种关键点检测一般是用来做动作识别,类似于运动app跳绳计数、判定瑜伽动作标不标准这种。用单目视觉来做人物模型的驱动,总差点意思。

qq_58484580的博客 5728

Kettle实现循环功能!!!

Kettle实现循环功能!!! 一、结果图 通过启动循环程序,点击确定弹出窗口的确定按钮,依次弹出“张三”、“李四”、“王五”,实现了简易的循环功能。 二、流程图 通过自定义“张三”、“李四”、“王五”的三条数据,依次执行该程序,达到循环的功能实现。 三、各个组件解析 通过组件 “自定义常量数据” 定义三条数据,将数据复制到结果中。 (1)、定义三个字段 (2)、填入数据(几条数据循环几次,这个值也可以通过变量实时变动,比如一个数据库有几张表) 通过 “复制记录到结果” (后续可以通过 ${F

技术是修行,跑步亦是修行。 1万+

数字太大放不下,高精度来补,如何放下超大数字,以及进制转换,高精度真的超好玩。 洛谷1009,1015

想必大家都遇到过数字大小超过int类型范围的情况,是不是碰到int放不下的数字自然就会想到,long int,long long int,甚至unsigned long long int呢。但是有一些出题者就很可恶,偏要出一些连unsigned long long int也放不下的算法题,应对这些问题时,我们是否有相应的应对方法呢?答案是:当然有,高精度就是一种应对这种问题时很好的解决办法。相信你在看完这篇文章后能对高精度有着更深更好的理解。我会循序渐进的来讲,这样大家也更容易听懂。

2303_79329831的博客 1231

kettle中如何实现循环

kettle使用循环样例如下: 实现循环首先需要控制循环次数,并对每次循环进行累加标记。 读取文本:现在读取某个表的数据进行循环(也可以读取某个文件进行循环): SELECT 'aaa' as id from dual union all SELECT 'bbb' as id from dual union all SELECT 'ddd' as id from dual 初始化参数(JS脚本): var prevRow=previous_result.getRows..

hcq_lxq的博客 1万+

PMAC上位机通信原理(C#)

基础是引用 两个 ODT dll 原理是先注册到communication.AsyncDataAvailable事件中去 if (bSuccess1) { communication.AsyncDataAvailable += communication_AsyncDataAvailable; } bool bSuccess2 = communication1.GPAsciiConnect(strIP, iPort, strName, strPassword); i

weixin_45507349的博客 1087

一生一芯——用RTL实现最简单的处理器NPC(南大数逻计组RV32ICPU) 代码及思考参考

本文介绍自己前期用Verilog编写的基于RV32I指令集的CPU,个人认为是最简单最易懂的版本(即没做什么优化,即代码很水,没有考虑一些奇怪的情况,只适用简单指令序列,即题目所示最简单的处理器),适合新手练手Verilog以及了解简单CPU的运行过程。本文基于一生一芯,利用Verilator进行仿真,并用gtkwave查看波形,不了解verilator和gtkwave的可以看前几篇文章。

long0_o的博客 3315

Kettle 8.2数据处理‘外挂’:手把手教你用JavaScript脚本组件调用Java类库增强ETL能力

本文深入探讨了Kettle 8.2中JavaScript脚本组件的实战应用,展示了如何通过该组件调用Java类库来增强ETL能力。从环境配置到第三方库集成,再到性能优化和异常处理,全面解析了如何利用JavaScript脚本组件突破Kettle原生功能限制,实现复杂数据处理需求。特别适合需要灵活扩展ETL功能的数据工程师和开发者。

weixin_30654419的博客 540

Rockchip MPP解码H264实战:从文件到YUV的完整流程解析

本文详细解析了在Rockchip平台上使用MPP(Media Process Platform)硬件解码H264视频文件并输出YUV数据的完整流程。通过实战代码示例,深入讲解了MPP解码器的初始化、数据包投递、非阻塞模式下的双循环控制以及YUV帧的提取与保存等核心步骤,并提供了环境搭建、编译运行和常见问题排查指南,帮助开发者高效利用硬件加速进行视频处理。

life6的博客 480

kettle 启动报错

系统: win10 64位,jdk:1.7,kettle:7.0 双击Spoon.bat时报错如下: kettle 7.0要求jre版本是1.8,否则会出错。

java漫步天下的专栏 2066

RAGFlow核心引擎DeepDoc之PDF解析大起底

本文深入解析RAGFlow中的deepdoc模块,重点介绍了pdf文档解析器的实现细节。deepdoc包含parser(文档解析器)和vision(视觉处理)两大核心功能,其中pdf解析是最复杂的部分。文章详细剖析了PdfParser类的设计架构,包含PlainParser(基础文本提取)、RAGFlowPdfParser(核心处理流水线)和VisionParser(视觉扩展)三个类,它们通过统一的__call__方法返回标准化结果。还具体讲解了初始化过程如何加载OCR引擎、布局识别模型、表格结构识别器等关

yxkong的专栏 2030

RV1126笔记二十七:MetaRTC6移植

MetaRTC6移植

6038

Kettel任务的迭代

Kettel任务的迭代,目前博主只知道三种 第一种,将做好的转换或作业通过SVN的方式进行上传下载 第二种,通过github 第三种,将做好的转换或作业保存到数据库中,但有个问题就是kettle转换和作业的编码格式需要和数据库的编码格式一致,如果不一致,会出现打不开转换和作业的情况,如下图 博主目前还没找到这个问题的解决方法,有解决的大佬,可以给小弟在评论中指点一波哦 ...

qq_40877166的博客 300

半车(前后、左右)、整车悬架详细推导建模和simulink仿真分析

用达朗贝尔定理依据悬架数学模型,得到悬架模型微分方程,分别用simulink建立前后半车、左右半车悬架;结合转向2自由度模型与半车侧倾模型,对模型考虑相干性、延时性的C级随机路面下,仿真分析给定角阶跃输入下的侧倾稳定性。

Mr.邹的博客 1万+

Kettle 作业步骤循环执行的实现

场景:User_Tables存放着系统用户的表信息,其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表,使用Kettle实现循环执行这些表。 例如统计表A、B的总行数: SELECT COUNT(1) FROM A; SELECT COUNT(1) FROM B; 这些SQL语句除开表名外,其他部分都是一样的,所以在使用KETTLE抽取数据

真正的错误是,当你知道应该如何去提高时仍然选择做一名初学者! 6万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

kettle自定义常量模块注意事项

kettle使用自定义常量模块注意事项,以防忘记 kettle执行多次循环。 kettle中自定义常量模块比较容易使用,但是遇到一个问题,就是我的流程每次回执行两次,不明所以,后来发现是因为最初是的自定义常量模块的数据中多点了一下有两条数据,但是里边的数据值都是空的,如下图所示 因为都是空数据 所以导致流程执行了两次因为第二次数据都为空,所以执行失败 删除此空行即可。但是同时也给了

qiuli_liu的专栏 4764

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

kettle 表输入 显示重复_Kettle实操简单小案例

前言: 第一次发布文章,很多不足之处还请大佬们多多指正。 在此之前并未听说过该工具,由于项目所需,上网查找教程后发现大多为零散的知识点,完成项目后提出其中一部分实际需求总结为该文。由于未深入学习kettle,该文只作入门教程,疑问之处也希望和大家相互学习讨论。 由于时间有限,网上教程多且详细易懂,kettle的安装、基础知识和基本控件、以及作用好处等等,此...

weixin_39628864的博客 1628

kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等

kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等关于kettle工具的介绍就不赘述了,某百科可以自行查阅。回顾自己当初刚接触这个工具的时候,网上资料虽然众多,但多数都是博客为主,很多博客都是写个【start –》查个表数据】就结束了,浪费了大量时间查找,最终不得要领。后来无奈,只能慢慢查阅“丰富”的官方文档。这篇博客没有深入的原理探讨,只是分享一些自己使用过程中用到的组件功能

苏顺的博客 9850

js kettle 修改字段值_Kettle 使用JS脚本 增加UUID输出列

image.pngimage.png####JavaScript 脚本如下####################################################//Script here//Script herefunction UUID(){this.id = this.createUUID();}UUID.prototype.valueOf = function(){ ret...

weixin_39889337的博客 869

ETL工具kettle之循环job

kettle的功能此处就不做过多的介绍了,此处主要是记录一下自己第一次使用kettle工具迁移数据的经历.需求:将两个mysql数据库(DB1,DB2)中的数据拷贝到一个中间库(DB3)中,然后在中间库总进行多张表关联查询出最终的结果并输出到另一张表中.所有数据是以店铺号(shop)和商品编码(productSaleId)作为唯一索引.每次需要处理N个店铺的商品. 实现: 编写三...

admin1973的专栏 3187

Kettle parameter方式实现循环

先看一下job如下: 在看一下设置循环条件的trans(图片里一个字写错了,大家不要在乎这些细节): 再看一下循环执行的trans: 最后最重要的看一下job里循环执行的trans的设置: 执行结果如下: 转载于:https://www.cnblogs.com/wanggs/p/5094086.html...

weixin_30872157的博客 167

【Kettle Spoon】课程要点简记

文章目录一、入门二、输入控件三、输出控件四、转换控件1.Concat fields2.值映射3.增加常量4.增加序列5.字段选择6.计算器7.剪切字符串+字符串替换+字符串操作 一、入门 二、输入控件 三、输出控件 四、转换控件 1.Concat fields 2.值映射 3.增加常量 4.增加序列 5.字段选择 6.计算器 7.剪切字符串+字符串替换+字符串操作 ...

Mercy92的博客 2621
上一篇: Kettle Spoon 循环 详细全流程 JS控制循环
下一篇: Kettle Spoon 定义错误处理 捕捉错误(3) 保姆级教程实例 本地错误日志文件或者数据库错误日志记录 添加变量、自定义列、报错日期时间
画扇落汗
博客等级 码龄8年 307粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值