kettle 实现一个作业并行执行多个转换

最新推荐文章于 2025-06-03 17:10:19 发布
最新推荐文章于 2025-06-03 17:10:19 发布
阅读量1.6w 收藏 18
点赞数 4
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42354570/article/details/92559612
博客跳过定时同步内容，直接介绍作业并行执行的操作。首先创建作业并建立多个所需转换，接着将start - 转换 - 成功连接，最后右击start点击RUN NEXT即可实现并行执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前面已经讲过定时同步，就不说了，直接说并行执行。

1.创建一个作业，建立好需要的多个转换

2.如图所示：将start-转换-成功 连接在一起

3.右击start,点击RUN NEXT。。。OK这样就能并行执行了！

jack_dxy
关注
Kettle（Pentaho）用法：job作业中并行作业项执行完后执行下一作业项
LdyLly的博客
05-04 1万+
本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。
kettle案例3.2-简单案例---作业、转换管理
m0_68381568的博客
11-01 965
kettle案例-作业、转换管理
kettle 新建作业执行多个转换job按并行和顺序执行
weixin_42750954的博客
11-24 9128
因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将6-10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意思就是一个个脚本执行，前面一个脚本执行成功了，才会执行下一个脚...
新手技术小白 | Kettle 抽数怎样实现并发处理
最新发布
2401_87805203的博客
06-03 1085
3. 假设我们100w以上做并发处理，并发数以30w为单位，分段时需要添加条件，在sql语句最后增加如下条件。用数据量除以分段的单位数量，表输入和表输出的数量保持一致。4. 右键选择 改变开始复制的数量。2. 添加 表输入 表输出。1. 新建 数据转换 作业。并注意勾选，替换变量。
Kettle批量运行转换
weixin_41300587的博客
04-14 1469
最近遇到一个问题，用Kettle做数据同步时，发现制作出来的转换太多，大约有几千个 如果一个个去运行或者把转换添加到作业中，这个工作量手都会断，后面突发想像，想着用批处理脚本去代替这个断手的工作，当然在Linux中大家也可以使用Shell脚本或者其它的方法。 批处理文件 @echo off set KETDir=D:\data-integration\转换存放的目录\ for /R %KETDir% %%s in (*) do ( D:\data-integration\Pan.bat /fil
kttle 新建作业执行多个转换job按并行和顺序执行
兰辉
11-01 1万+
因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意
Kettle转换中的所有步骤是并行运行
qq_41933287的博客
12-20 2727
Kettle转换中的所有步骤是并行运行
ETL工具kettle怎么将多个转换集成到一个作业中
weixin_33725807的博客
08-28 1434
在实际工作中，经常会出现很多个转换，这样管理成本会很高，那么这时就可以采取一种方式将这些转换集成到一个作业之中，可以看一个现成的例子，如图我们在这一个作业中集成了四个转换，有一点需要说明，就是每个作业只能有一个start组件，这四个转换的执行顺序是按照start组件与其连线的先后顺序来执行；即先连线的先执行，那可能有的朋友就会问了，假如某一个转换有报错，会不会导致下面的转换不执行，这个请放心，如果...
Kettle设置转换并行执行
02-08 2602
转自：http://blog.youkuaiyun.com/wild46cat/article/details/69222935
在服务器上同时执行 多个kettle_Kettle分区、集群及并行
weixin_36217058的博客
12-31 859
Kettle的转换和作业可以在垂直和水平方面进行扩展。垂直扩展是尽可能利用单台服务器上的多CPU核数。水平扩展是使用多台机器资源，使他们并行计算。下面先谈谈转换内部的并行机制。一.多线程默认情况下转换中的每一个步骤都事在单一隔离的线程里面并行执行，但可以为任何单一步骤增加线程数目，这叫做复制。这可以提高CPU时间消耗量大的转换步骤的性能。image.png*4代表了4个复制将在运行时被启动。Ste...
Kettle实现步骤循环执行
10-26
标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration（简称Kettle或PDI）的一种高级用法，即如何在工作流（Job）或转换（Transformation）中实现步骤的循环执行。Kettle是一款强大的...
关于Kettle 转换、作业日志自动配置的解决方案
08-20
关于Kettle 转换、作业日志自动配置的解决方案
kettle解析xml多层分组嵌套数据，StAX方法，完整解析案例（包含xml文件以及ktr文件）
04-21
kettle 解析xml数据，xml多层分组嵌套，xml stax方法，完整解析案例使用（包含xml文件以及ktr文件）。ETL大数据迁移，数据清洗。XML Input Stream (StAX) 方法
kettle的并行_集群和分区
11-07
kettle的并行_集群和分区当你有很多数据要处理的时候，能够有效地使用所有的计算资源是非常重要的。不管是台个人电脑，还是有数百台服务器，你都想让Kettle能尽可能的使用所有可用的计算资源，并在可接受的时间范围内获取执行结果。 在这一章节，我们将解开kettle的转换和作业在垂直扩展和水平扩展方面的秘密。垂直扩展是尽可能的使用单台服务器上的多CPU核。水平扩展是使用多台机器资源，使他们并行计算。这两种方法都是ETL子系统的一部分（#31，并行/流水线系统）。 章节的第一部分先谈谈转换内部的并行机制和多种使用其进行垂直扩展的方法。然后我们讲解怎样在子服务器集群环境下进行水平扩展转换。
kettle 命令行运行作业（kitchen）和转换（pan）以及一路下来编写的例子
08-12
此外，kettle还支持通过脚本文件（如.bat或.sh）批量执行多个作业和转换，这对于构建数据管道非常有用。在脚本中，你可以根据需要设置环境变量、传递参数，并顺序或并行地运行不同任务。 标签“源码”和“工具”...
史上最小白kettle操作———关于如何建立一个job，并多个同执行，以及转换之间的连接
God_Odysseus_123的博客
03-22 2467
首先，要新建一个job（如图） 然后来到这个界面，点击通用，会出现我们需要的工具 点击start，再点击转换，就可以出现一个如下图简单的job了 那么，如果想同时执行多个呢，就右击选中图框里的start然后点击转换 要是想链接两个转换，先选中一个转换，然后shift+右键指向另一个转换即可完成。 接下来就是往转换里面加入需要执行的ktr文件 双击转换，然后把需要执行的ktr文件放在路径中。 接下来点击执行按钮即可 ...
KETTLE 多表数据迁移或转换
weixin_45873444的博客
05-13 3213
KETTLE 多表数据迁移或转换 阅读这篇文章需懂得kettle的基本操作。
kettle 设置转换并行运行
热门推荐
archer的技术故事
04-05 2万+
kettle 设置转换并行运行 在执行不相关的转换时，可以并行执行转换。如下图： 设置完成后能够实现两个转换同时并发执行。
Kettle Job实现每6s就运行一个Kettle的转换任务
https://hibernation0814.github.io/
07-18 392
拓展如果实现多个转换任务，按照时间以及顺序运行可以吗？答案是可以的，只要遵循了-时间规则和依赖规则都是可以的。需求∶每6s就运行一个Kettle的转换任务。
请用kettle实现这个功能
05-31
用户可能需要一个Kettle的转换流程，包括读取数据、计算累计值、然后写回数据库。引用中的Kettle案例使用了拼接SQL的方法，可能需要类似步骤。另外，数据库驱动的问题在引用3中提到，需要确保Kettle已安装PostgreSQL...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值