KETTLE并行

本文介绍了Kettle中转换的并行执行方法及其注意事项,包括如何通过并行化提高数据库查询效率,以及如何利用集群加速任务处理。同时强调了并行执行下任务调度的特点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.转换的并行
转换的并行是改变复制的数量


上面的转换相当于下面的:

实际是把一个任务拆成三部分执行,相当于在一个数据库连接中做了三次查询,数据库连接的开销没有增加,但是有三个进程一起执行。





2.job的并行执行

只需要在"START"设置即可。
建议:将job的条目都做成子job.( To do this, we suggest you wrap up the parallel work in a separate Job. )
注意,并行执行时,job条目不会按顺序执行,所以有依赖性的转换不能并行执行。

3.集群
集群就是使用多个服务器共同处理任务,某些情况下能加快处理速度。
关于集群的搭建请参考博客中《KETTLE集群搭建》一文。














转载于:https://www.cnblogs.com/skyrim/p/7456136.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值