kettle 实现一个作业并行执行多个转换

最新推荐文章于 2025-06-03 17:10:19 发布
原创 最新推荐文章于 2025-06-03 17:10:19 发布 · 1.6w 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客跳过定时同步内容，直接介绍作业并行执行的操作。首先创建作业并建立多个所需转换，接着将start - 转换 - 成功连接，最后右击start点击RUN NEXT即可实现并行执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前面已经讲过定时同步，就不说了，直接说并行执行。

1.创建一个作业，建立好需要的多个转换

2.如图所示：将start-转换-成功 连接在一起

3.右击start,点击RUN NEXT。。。OK这样就能并行执行了！

jack_dxy
关注
kettle案例3.2-简单案例---作业、转换管理
m0_68381568的博客
11-01 964
kettle案例-作业、转换管理
Kettle（Pentaho）用法：job作业中并行作业项执行完后执行下一作业项
LdyLly的博客
05-04 1万+
本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。
kettle 新建作业执行多个转换job按并行和顺序执行
weixin_42750954的博客
11-24 9118
因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将6-10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意思就是一个个脚本执行，前面一个脚本执行成功了，才会执行下一个脚...
新手技术小白 | Kettle 抽数怎样实现并发处理
最新发布
2401_87805203的博客
06-03 1074
3. 假设我们100w以上做并发处理，并发数以30w为单位，分段时需要添加条件，在sql语句最后增加如下条件。用数据量除以分段的单位数量，表输入和表输出的数量保持一致。4. 右键选择 改变开始复制的数量。2. 添加 表输入 表输出。1. 新建 数据转换 作业。并注意勾选，替换变量。
Kettle批量运行转换
weixin_41300587的博客
04-14 1468
最近遇到一个问题，用Kettle做数据同步时，发现制作出来的转换太多，大约有几千个 如果一个个去运行或者把转换添加到作业中，这个工作量手都会断，后面突发想像，想着用批处理脚本去代替这个断手的工作，当然在Linux中大家也可以使用Shell脚本或者其它的方法。 批处理文件 @echo off set KETDir=D:\data-integration\转换存放的目录\ for /R %KETDir% %%s in (*) do ( D:\data-integration\Pan.bat /fil
kttle 新建作业执行多个转换job按并行和顺序执行
兰辉
11-01 1万+
因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意
Kettle转换中的所有步骤是并行运行
qq_41933287的博客
12-20 2719
Kettle转换中的所有步骤是并行运行
ETL工具kettle怎么将多个转换集成到一个作业中
weixin_33725807的博客
08-28 1432
在实际工作中，经常会出现很多个转换，这样管理成本会很高，那么这时就可以采取一种方式将这些转换集成到一个作业之中，可以看一个现成的例子，如图我们在这一个作业中集成了四个转换，有一点需要说明，就是每个作业只能有一个start组件，这四个转换的执行顺序是按照start组件与其连线的先后顺序来执行；即先连线的先执行，那可能有的朋友就会问了，假如某一个转换有报错，会不会导致下面的转换不执行，这个请放心，如果...
Kettle设置转换并行执行
02-08 2599
转自：http://blog.youkuaiyun.com/wild46cat/article/details/69222935
在服务器上同时执行 多个kettle_Kettle分区、集群及并行
weixin_36217058的博客
12-31 859
Kettle的转换和作业可以在垂直和水平方面进行扩展。垂直扩展是尽可能利用单台服务器上的多CPU核数。水平扩展是使用多台机器资源，使他们并行计算。下面先谈谈转换内部的并行机制。一.多线程默认情况下转换中的每一个步骤都事在单一隔离的线程里面并行执行，但可以为任何单一步骤增加线程数目，这叫做复制。这可以提高CPU时间消耗量大的转换步骤的性能。image.png*4代表了4个复制将在运行时被启动。Ste...
Kettle实现步骤循环执行
10-26
标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration（简称Kettle或PDI）的一种高级用法，即如何在工作流（Job）或转换（Transformation）中实现步骤的循环执行。Kettle是一款强大的...
关于Kettle 转换、作业日志自动配置的解决方案
08-20
关于Kettle 转换、作业日志自动配置的解决方案
kettle解析xml多层分组嵌套数据，StAX方法，完整解析案例（包含xml文件以及ktr文件）
04-21
kettle 解析xml数据，xml多层分组嵌套，xml stax方法，完整解析案例使用（包含xml文件以及ktr文件）。ETL大数据迁移，数据清洗。XML Input Stream (StAX) 方法
kettle的并行_集群和分区
11-07
kettle的并行_集群和分区当你有很多数据要处理的时候，能够有效地使用所有的计算资源是非常重要的。不管是台个人电脑，还是有数百台服务器，你都想让Kettle能尽可能的使用所有可用的计算资源，并在可接受的时间范围内获取执行结果。 在这一章节，我们将解开kettle的转换和作业在垂直扩展和水平扩展方面的秘密。垂直扩展是尽可能的使用单台服务器上的多CPU核。水平扩展是使用多台机器资源，使他们并行计算。这两种方法都是ETL子系统的一部分（#31，并行/流水线系统）。 章节的第一部分先谈谈转换内部的并行机制和多种使用其进行垂直扩展的方法。然后我们讲解怎样在子服务器集群环境下进行水平扩展转换。
kettle 命令行运行作业（kitchen）和转换（pan）以及一路下来编写的例子
08-12
此外，kettle还支持通过脚本文件（如.bat或.sh）批量执行多个作业和转换，这对于构建数据管道非常有用。在脚本中，你可以根据需要设置环境变量、传递参数，并顺序或并行地运行不同任务。 标签“源码”和“工具”...
史上最小白kettle操作———关于如何建立一个job，并多个同执行，以及转换之间的连接
God_Odysseus_123的博客
03-22 2455
首先，要新建一个job（如图） 然后来到这个界面，点击通用，会出现我们需要的工具 点击start，再点击转换，就可以出现一个如下图简单的job了 那么，如果想同时执行多个呢，就右击选中图框里的start然后点击转换 要是想链接两个转换，先选中一个转换，然后shift+右键指向另一个转换即可完成。 接下来就是往转换里面加入需要执行的ktr文件 双击转换，然后把需要执行的ktr文件放在路径中。 接下来点击执行按钮即可 ...
KETTLE 多表数据迁移或转换
weixin_45873444的博客
05-13 3209
KETTLE 多表数据迁移或转换 阅读这篇文章需懂得kettle的基本操作。
kettle 设置转换并行运行
热门推荐
archer的技术故事
04-05 2万+
kettle 设置转换并行运行 在执行不相关的转换时，可以并行执行转换。如下图： 设置完成后能够实现两个转换同时并发执行。
Kettle Job实现每6s就运行一个Kettle的转换任务
https://hibernation0814.github.io/
07-18 391
拓展如果实现多个转换任务，按照时间以及顺序运行可以吗？答案是可以的，只要遵循了-时间规则和依赖规则都是可以的。需求∶每6s就运行一个Kettle的转换任务。
用kettle 将多个sql查询输出到同一个excel的不同sheet
03-28
<think>嗯，用户的问题是关于如何使用Kettle将多个SQL查询的结果导出到同一个Excel文件的不同Sheet中。我需要先回顾一下Kettle的相关知识，尤其是处理多个输出到Excel的情况。 首先，Kettle中的作业和转换是关键。用户提到的是多个SQL查询，每个查询的结果对应一个Sheet。可能需要为每个查询创建一个转换，然后在作业中按顺序执行这些转换，并确保都输出到同一个Excel文件的不同Sheet中。不过，这样处理可能会遇到文件被覆盖的问题，或者需要配置输出时不覆盖现有Sheet。 或者，有没有可能在一个转换里处理多个查询和输出？比如使用多个“表输出”步骤，但每个步骤指向不同的Sheet。不过Excel输出步骤可能需要特定的设置，比如在同一个文件中追加Sheet。可能需要检查Kettle的Excel输出步骤是否支持多Sheet，或者是否需要使用插件。 根据之前的引用，用户提到过使用作业来导出多个表的数据到不同Sheet，Sheet名是表名。这可能意味着每个表对应一个查询，每个查询的结果导出到一个Sheet。那在Kettle中，可能需要为每个查询单独配置一个步骤，并设置输出到Excel的不同Sheet，同时确保文件不被覆盖。 可能需要使用“Microsoft Excel输出”步骤，并且在输出时设置Sheet名称。但如何在一个转换中多次输出到同一个文件的不同Sheet呢？或者是否需要在作业中顺序执行多个转换，每个转换处理一个查询并输出到一个Sheet，但如何保证同一个文件不被覆盖？ 或者，是否可以利用Kettle的“追加到文件”选项，但这里需要的是不同的Sheet而不是追加行。可能需要使用“Excel Writer”步骤，并设置不同的Sheet名称。但需要确保每个步骤写入同一个文件的不同Sheet。 此外，需要注意Kettle的版本，某些版本可能对Excel多Sheet的支持有限。例如，旧版本可能需要使用“Microsoft Excel输出”步骤，并设置不同的Sheet名称，而每个步骤的输出模式为“不覆盖现有文件”，从而追加新的Sheet。 另一个方法是使用“生成记录”来循环执行SQL查询，并将每个结果写入不同的Sheet。这可能需要使用循环或迭代处理，比如在作业中使用“转换执行”步骤，每次传递不同的查询参数和Sheet名称。 可能需要将每个SQL查询的结果暂存，然后在一个转换中统一输出到Excel的不同Sheet。或者，每个查询对应一个转换，作业中依次执行这些转换，并将结果写入同一个Excel文件的不同Sheet。需要确保在作业中，每个转换的输出步骤都指向同一个Excel文件，但不同的Sheet名称，并且不覆盖文件。 另外，可能需要注意Excel文件的格式，比如.xlsx是否支持多Sheet的追加操作，而Kettle的步骤是否兼容这种操作。有些情况下，可能需要先创建一个空的Excel文件，然后每次添加Sheet进去，或者使用Kettle的特定步骤来处理。 总结下来，可能的步骤是： 1. 创建多个转换，每个转换执行一个SQL查询，并将结果输出到同一个Excel文件的不同Sheet。 2. 在作业中按顺序执行这些转换，确保每个转换的Excel输出步骤设置正确的Sheet名称，并选择“追加到文件”而不是覆盖。 3. 或者在一个转换中使用多个查询和输出步骤，每个步骤指定不同的Sheet名称，并配置不覆盖文件。 需要验证这些方法的可行性。根据引用[1]中的例子，用户通过创建作业导出多个表的数据到不同Sheet，可能采用的是第一种方法，即每个表对应一个转换，作业中按顺序执行，并设置输出到同一文件的不同Sheet。因此，可以建议用户创建多个转换，每个转换处理一个SQL查询，并配置Excel输出步骤的Sheet名称，然后在作业中依次执行这些转换，确保输出模式正确。</think>### 分步实现方法 以下是使用Kettle将多个SQL查询结果导出到同一Excel文件不同Sheet的详细步骤： --- #### **1. 创建主作业** 主作业用于控制整体流程，按顺序调用子转换并传递参数。 **步骤说明**： - 使用`Start`组件启动作业 - 使用`Transformation`组件依次调用每个子转换，并在调用时传递以下参数： - **文件名**：统一输出的Excel路径（如`output.xlsx`） - **Sheet名称**：自定义Sheet命名（如`query1_results`, `query2_results`） --- #### **2. 配置子转换（每个查询对应一个子转换）** 每个子转换包含以下核心步骤： **a. 数据库查询** - 使用`Table Input`组件输入SQL语句（例如：`SELECT * FROM table1`） - 支持通过`${参数}`接收动态条件（如日期范围） **b. Excel输出配置** - 使用`Microsoft Excel Output`组件 - 关键配置项： - **文件名**：接收主作业传递的`${文件名}`参数 - **Sheet名称**：接收主作业传递的`${Sheet名称}`参数 - **文件是否创建新文件**：仅在第一个子转换中勾选 - **追加到文件**：勾选（避免覆盖已有Sheet）[^1] --- #### **3. 动态Sheet命名技巧** 通过以下方式实现Sheet名称与数据关联： - **方法1**：在子转换中使用`Get Variables`获取主作业传递的Sheet名称 - **方法2**：通过SQL查询结果字段动态命名Sheet（需结合`JavaScript`或`Formula`步骤处理字段值） --- #### **4. 完整流程示例** ```plaintext 主作业 ├─ 子转换1（查询A → 输出到SheetA） ├─ 子转换2（查询B → 输出到SheetB） └─ 子转换3（查询C → 输出到SheetC） ``` --- #### **注意事项** 1. **文件锁冲突**：确保所有子转换串行执行（不可并行） 2. **Excel格式兼容性**：建议使用`.xlsx`格式（支持更多Sheet和行数）[^2] 3. **内存优化**：大数据量时在`Excel Output`中启用`分批写入`模式 ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值