Kettle Spoon 循环 详细全流程 JS控制循环

1、kettle知识点系列之kettle的循环模式 这种模式是在我使用复杂模式后,我连接的资源库常常会因为这个循环导致速度慢、卡等问题,最后发现了这种模式。这种模式是在我解决问题的过程中自己写的,刚开始我使用简单模式处理场景需求,但是我的作业比较复杂,循环需要执行的地方是作业,作业中又有很多作业,作业中的转换又有。这是我个人做的一个循环demo作业,对于简单模式的循环,一般执行的循环体为转换,如果为作业,作业中不能有。组件,这样导致每次循环控制都是下标越界异常,最后发现是因为后续的复制记录到结果集覆盖掉了获取DB参数那里的结果集。(6)设置变量的使用。... 阅读详情

Kettle Spoon的循环实例 详细全流程 JS控制循环

1. 背景

因为在分析数据时,需要对所有店铺所有的listing进行一些分类查询操作。
一次性查找所有的店铺,查询时间会超上千秒,甚至会出现超时错误。
如果一次指定一个店铺,效率会提高数十倍。
因此需要设置一个循环,每次查找一个店铺,将该店铺查询的数据保存到Excel表中。
实际业务会插入到数据库的表格中,插入Excel表中是出于教学目的。

该版本的最大循环条件为固定写死。想要自动调整最大迭代数的内容,可查阅 Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数

2. 具体流程

1) 主体Job

Kettle Spoon循环实例-Job

2)Start

3)设置变量

设置好最大循环次数 MAXROW ,以及当前的循环数 CURRENTROW
此处最大循环次数为固定写死的 570。若需要最大循环次数可自动调整,或者通过SQL查找某个值来设置最大循环次数,可参考: Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数
Kettle Spoon循环实例-设置变量

4) JS脚本:设置循环条件和循环体

设置循环条件:利用 JS 脚本实现跳出循环条件,并且每次循环将 CURRENTROW 逐步增加 1
Kettle Spoon循环实例-JS脚本设置循环条件和循环体

var max = parent_job.getVariable("MAXROW");
var current = parent_job.getVariable("CURRENTROW");
 
current ++;
parent_job.setVariable("CURRENTROW",current);
     
if(current <= max)
    true;
else
    false; 

5)转换

开启转换,并将 CURRENTROW 的值传递给转换
Kettle Spoon循环实例-转换

5.1)表输入:当前行店铺

获取 CURRENTROW 对应的店铺名称、店铺ID
①引用变量值时,需要利用格式 ${变量名}
②勾选 “替换 SQL 语句里的变量”
Kettle Spoon循环实例-转换-当前行店铺

select
	t.*
from (
	select
		row_number() over(order by ose.id) row
		, ose.id OrderSourceID
		, ose.ordersourcename OrderSourceName
	from dbo.RB_OrderSource_Ebay ose (nolock)
	where ose.status=1
) t where t.row=${CURRENTROW}
5.2)设置变量

设置变量,将上一部获取的名称和店铺ID插入到变量中
Kettle Spoon循环实例-转换-设置变量

5.3)表输入

利用上一步设置的店铺ID值,查找该店铺的分类查询数据。
①引用变量值时,需要利用格式 ${变量名}
②勾选 “替换 SQL 语句里的变量”
Kettle Spoon循环实例-转换-表输入

select
	*
from table_name t
where  t.id=${ID}
5.4)Excel输出

将查询的结果输出为Excel,注意在最终文件名称中,引用 店铺ID 作为表格的表名输出。
Kettle Spoon循环实例-转换-表输出

ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法) kettle 循环,重跑数据 阅读详情

相关推荐

Kettle Spoon下载安装与首个ETL转换实战指南

ETL(Extract-Transform-Load)是数据集成的核心范式,其本质是通过结构化流程实现异构系统间的数据抽取、清洗与加载。Kettle(Pentaho Data Integration)作为成熟开源ETL工具,以Spoon可视化界面为入口,依托Java运行时与JDBC驱动实现跨数据库调度。其技术价值在于零云依赖、低代码编排与强可调试性,广泛应用于中小型企业数据库同步、BI数据准备及API数据封装等场景。本文聚焦新手最常卡点——Spoon启动失败与首个转换构建,结合kettle下载安装教程和ke

weixin_34228387的博客 325

【Kettle】kettle循环遍历数据库中的表,并进行SQL操作

背景:通过kettle循环遍历数据中的所有的表,并且对每张表执行转换。

✈ 正在努力 の 寒江(StudiousTiger) ✌ 呐 ✈ 3161

别再手动拼接数据了!用Kettle Spoon的JavaScript步骤5分钟搞定字段合并

本文详细介绍了如何使用Kettle Spoon的JavaScript步骤高效合并字段,解决传统ETL工具在复杂数据处理中的不足。通过实战案例和性能优化技巧,帮助数据工程师在5分钟内完成原本需要数小时的手工操作,显著提升数据转换效率。

weixin_30376509的博客 246

Kettle实现循环功能!!!

Kettle实现循环功能!!! 一、结果图 通过启动循环程序,点击确定弹出窗口的确定按钮,依次弹出“张三”、“李四”、“王五”,实现了简易的循环功能。 二、流程图 通过自定义“张三”、“李四”、“王五”的三条数据,依次执行该程序,达到循环的功能实现。 三、各个组件解析 通过组件 “自定义常量数据” 定义三条数据,将数据复制到结果中。 (1)、定义三个字段 (2)、填入数据(几条数据循环几次,这个值也可以通过变量实时变动,比如一个数据库有几张表) 通过 “复制记录到结果” (后续可以通过 ${F

技术是修行,跑步亦是修行。 1万+

别再手动拼接数据了!用Kettle Spoon的JavaScript步骤5分钟搞定字段合并(附完整配置流程)

本文详细介绍了如何使用Kettle Spoon的JavaScript步骤高效合并字段数据,解决手动处理耗时易错的问题。通过完整的配置流程和实战案例,帮助数据工程师快速掌握这一强大工具,提升ETL流程效率,特别适合处理多系统数据整合场景。

weixin_30540691的博客 247

Kettle实现步骤循环执行

Kettle实现步骤循环执行 Blog:http://blog.youkuaiyun.com/jdk2006/article/details/13019093

kettle开发-Day36-循环驱动作业

kettle循环教程,人生大概也像一场场电影循环开幕、谢幕。

qq_29061315的博客 2758

Android中的Service:Binder,Messenger,AIDL(2)

前言前面一篇博文介绍了关于Service的一些基本知识,包括service是什么,怎么创建一个service,创建了一个service之后如何启动它等等。在这一篇博文里有一些需要前一篇铺垫的东西,建议没有看过前一篇博文的同学先去看一下前一篇: Android中的Service:默默的奉献者 (1) 。但是在前一篇博文中也有一些遗漏的东西——主要是关于bindService()这一块的具体细节。由于这

lypeer的专栏 5万+

Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数

Kettle Spoon 循环实例v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数 解决最大循环次数无法自动调整的问题。

garbageSystem的博客 722

ABAP HANA BP主数据批导

SAPhana官方推荐的创建bp主数据的类是CL_MD_BP_MAINTAIN 客户的创建具体示例代码如下: DATA: LT_RETURN_MAP TYPE MDG_BS_BP_MSGMAP_T. DATA: LS_RETURN_MAP TYPE MDG_BS_BP_MSGMAP. DATA: LS_MESSAGE_MAP TYPE MDG_BS_BP_MSGMAP_KEY. DATA: LT_DATA TYPE CVIS_EI_EXTERN_.

IamRunjiang的博客 4146

三极管自激升压电路设计 - 从参数计算到实践验证

本文详细解析了三极管自激升压电路(焦耳小偷电路)的设计原理与实践方法。通过剖析自激振荡机制与三极管电流关系,指导读者完成从核心参数计算、关键元件选型到面包板搭建调试的全过程。文章重点阐述了如何利用电感、三极管等基础元件实现低压直流到高压的转换,是理解开关电源与电磁能量转换的绝佳实践项目。

weixin_29250573的博客 375

Springboot+Kettle(Spoon)

Springboot集成kettle实战介绍项目截图java+kettle实战代码1 pom.xml2 kettleUtil3 业务层方法a 资源库业务b 转换的相关业务c 完整代码 介绍 kettle就不介绍了,Web界面极其简单、丑陋,生产环境无法投入使用.所以这篇实战内容是springboot结合kettle的web端执行已经在spoon客户端做好的ktr和kjb(既:这里不包括web页面制作ktr和kjb).主要功能如下: web页面选择本地文件夹作为资源库 从已配置好的资源库里选择ktr和kj

K One 1万+

Flink实战案例(十三):Flink DataStream 八大分区策略与自定义分区器

声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 分区策略决定了一条数据如何发送给下游。Flink中默认提供了八大分区策略(也叫分区器)。 本文基于Flink 1.9.0总结Flink DataStream中的八大分区策略以及手动实现一个自定义分区器。 八大分区策略继承关系图 ChannelSelector: 接口,决定将记录写入哪个Channel。有3个方法: void setup(int numberOfChannels):

微信搜:import_bigdata,大数据领域硬核原创作者 1125

从零到ETL:我用Kettle Spoon做的第一个数据同步‘作业’,竟然这么简单?

本文详细介绍了如何使用Kettle Spoon从零开始构建ETL数据同步作业,包括环境准备、作业设计、实战案例及性能优化。通过具体步骤和代码示例,帮助新手快速掌握Kettle的核心功能,实现高效数据清洗和转换。

Bob1228的专栏 365

099、多摄融合与变焦系统:广角到长焦的无缝切换算法

本文分享了多摄融合与变焦系统开发中的实战经验和关键挑战。作者通过一个旗舰机项目案例,揭示了广角到长焦切换时画面抖动问题的根源——融合算法误将视差当作运动补偿,并提出"视差冻结窗口"的解决方案。文章总结了三大多摄融合难点:物理视差处理、亮度差异补偿和切换时机把控,详细阐述了分层架构设计、融合权重计算等核心技术。同时强调了产线校准的重要性,并给出五项实用建议:允许边缘鬼影保留、参数场景化配置、加强产线检测、完善调试接口,以及合理运用AI技术。全文展现了多摄融合技术在时间、空间和感知维度上的复杂平衡艺术。

sundong_81的博客 49

android 14.0 去掉usb授权提示框 默认给予权限

在14.0的系统rom产品开发中,在进行iot关于插入usb设备的开发过程中,在插入usb设备时会弹出usb授权提示框,也带来一些不便, 这个需要默认授予USB权限,插拔usb都不弹出usb弹窗所以这要从usb授权相关管理页默认给与usb权限,接下来分析下 相关的实现功能流程

安卓兼职framework和app工程师的博客 2264

别再手动导Excel了!用Kettle Spoon 9.4把数据库数据一键导出到表格(附详细连接配置)

本文详细介绍了如何使用Kettle Spoon 9.4实现数据库数据一键导出到Excel的全流程,包括环境配置、数据库连接设置、SQL查询优化和Excel输出高级配置。特别针对MySQL、Oracle等常见数据库的连接问题提供了解决方案,帮助用户告别低效的手动数据搬运,提升工作效率。

Bob1228的专栏 519

23、微波电路中的过孔、过孔围栏与接地焊盘建模分析

本文详细分析了微波电路设计中过孔、过孔围栏及接地焊盘的建模与优化方法。探讨了过孔模型的发展及其电感与电容特性,通过场求解器和集总元件模型提高建模精度。此外,分析了过孔隔离围栏在改善信号隔离中的作用,并通过2.5D和3D电磁仿真验证其效果。最后,研究了接地焊盘中过孔布局对电路稳定性的影响,提出了优化过孔位置以消除谐振和杂散振荡的方法。文章为微波电路设计提供了重要的理论支持和实践指导。

convnet3designer的博客 166

从零到ETL:用Kettle Spoon设计你的第一个数据同步管道(MySQL到CSV实战)

本文详细介绍了如何使用Kettle Spoon工具从零开始构建ETL数据同步管道,实现MySQL到CSV的数据转换。通过环境准备、核心概念解析到实战案例演示,帮助读者快速掌握Kettle的基本操作和优化技巧,适用于数据迁移和ETL初学者。

Bob1228的专栏 366

机器学习特征选择-t检验

在特征选择的过程中通过计算检验统计量值,比较特征之间的统计量的大小,并降序排列,选取统计值较高的特征,从而起到去除差别小的特征(此差别小的特征难以区分不同的额类别)的目的。 以t检验(Student's t test)为例: 假设检验 通过比较两类样本的随机变化,通过计算其p值决定是否拒绝零假设,也即是说:通过计算p值,若p值小于某一阈值则认为两个样本具有显著差异,两个样本是不同的,此时拒绝...

heda3的博客 6700

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Kettle Spoon入门与实战:ETL工具核心原理与避坑指南

ETL(Extract-Transform-Load)是数据集成的基础范式,其核心在于可靠的数据流转与强可控的转换逻辑。Kettle作为成熟开源ETL工具,以Spoon图形界面为设计入口,本质是一套基于Java的可执行数据流编排语言,强调显式契约、类型安全与元数据确定性。它不依赖隐式转换,而是通过步骤间RowSet管道、字段名精确匹配和分层架构(Transformation处理数据流,Job管控任务流)保障千万级生产环境的稳定性与可追溯性。广泛应用于金融对账、电商数据清洗、传统系统迁移等场景,尤其适合需兼顾

weixin_34198762的博客 300

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Kettle Spoon入门踩坑实录:从Java环境变量到第一个转换,我遇到的5个问题及解法

本文分享了Kettle Spoon入门过程中的5个常见问题及解决方案,包括Java环境配置、内存分配、数据库连接、字段映射和性能优化。通过详细的步骤和代码示例,帮助新手快速上手ETL工具,避免常见陷阱,提升数据处理效率。

Bob1228的专栏 337

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

别再手动导Excel了!用Kettle Spoon 9.4把MySQL数据自动导出到表格(附数据库连接避坑指南)

本文详细介绍了如何使用Kettle Spoon 9.4实现MySQL数据自动导出到Excel的高效方法,包括环境配置、数据管道构建、故障排除及企业级部署建议。通过实战案例和避坑指南,帮助用户彻底告别手工操作,提升数据处理效率和准确性。

Bob1228的专栏 323
上一篇: 效率工具-利用Excel快速生成SQL Server和MySQL的临时表、多行快速合并
下一篇: Kettle Spoon 循环v2 详细全流程 JS控制循环(2)自动查找最大迭代数 自适应最大循环次数
画扇落汗
博客等级 码龄8年 307粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值