kettle6.1转换内正确的并发设置姿势

最新推荐文章于 2022-11-13 15:47:23 发布
原创 最新推荐文章于 2022-11-13 15:47:23 发布 · 2.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kettle

本文剖析了网络上关于多线程并发应用的常见误解，特别是“改变开始复制的数量”这一概念的错误解读，指出将复制数错误地设置在输入端而非输出端，导致了数据重复写入和性能下降的问题，并提供了正确的实现方式。

引子

网上很多教程没搞懂“改变开始复制的数量”这个意思，将数量设置在输入端，导致不仅没有进行多线程并发，反而变成复制读入多分数据导致开销增大，而且还造成了数据重复写入，这样还敢说性能提升，真是有鬼了。

实际效果

单线程效果

单线程插入

所谓的“多线程”，不仅没有提升速度，反而给我往文本文件里写了50W条数据，说这个多线程的，不会阅读什么叫“开始复制”这四个字吗，都说了复制了！！真是蠢爆了。

复制数5

正确姿势

复制数应当设置在输出端！这个时候是以流中的数据，变为5份执行。
输出端

加速！！

如果要进一步提升怎么办？应当通过相应规则设置输入步骤，比如分页、业务时间等

分页读

Kettle-6.1安装部署及使用教程-贵在详细截图说明
12-28
Kettle-6.1安装部署及使用教程-贵在详细截图说明
kettle 6.1
07-30
kettle 6.1.0.1-196版本，支持JDK1.7版本，方便不是用1.8JDK版本的同学
kettle并发数量设置
AntKengElephant的博客
07-16 3380
start后设置多个并发，鼠标右击start 选择RUN Next Entries in Parallel
彻底搞清 Kettle 数据分发方式与多线程
wzy0623的专栏
05-20 7213
彻底搞清 Kettle 数据分发方式与多线程
kettle常见问题
PedroHuo的专栏
12-26 2322
1. Join 　　我得到A 数据流（不管是基于文件或数据库），A包含field1 ， field2 ， field3 字段，然后我还有一个B数据流，B包含field4 ， field5 ， field6 ， 我现在想把它们 ‘加’ 起来， 应该怎么样做. 　　这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含join key ，join key 可以是一个字段也可以
Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行
薛秋艳的博客
06-08 2275
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。 一、Kettle的部署 不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动s...
Kettle 6.1 ETL工具
10-15
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle 数据抽取【Version 6.1】
Abner_G的博客
08-05 1133
Kettle 数据抽取【Version 6.1】背景简述安装使用安装设置系统变量（KETTLE_HOME）使用首先创建一个“工作”，建立一个简单的工作流表输入注意点文本文件输出注意点循环设置参数循环job注意点java代码java代码注意点压缩文件压缩文件注意点邮件控件 背景 需要按一定规则从数据库抽取量比较大的数据。使用ETL工具完成。 简述 Kettle是国外开源的ETL工具，Java编写。后来改名PDI 转换（transformation）和工作（job）的区别： 转换是数据流，工作是步骤流，作业的每
Kettle 6.1.0.1-196 MyEclipse源码工程包第一部分
最新发布
06-11
资源下载链接为： https://pan.quark.cn/s/3d8e22c21839 Kettle 6.1.0.1-196 MyEclipse源码工程包第一部分
eclipse kettle6.1源代码
04-06
Eclipse Kettle 6.1源代码是用于深入了解和定制数据集成工具Pentaho Data Integration（也称为Kettle）的开发资源。Kettle是一个开源的企业级ETL（Extract, Transform, Load）平台，广泛用于数据仓库建设和数据迁移...
kettle6开发
01-16
Kettle6内置步骤开发
Kettle （pdi-ce-6.1.0.1）常用组件使用手册
12-06
本文档介绍了kettle常用组件的使用方法，并附截图。。 适合新接触kettle的朋友
pentaho-kettle-6.1.0.2-R.zip
03-21
流行ETL 开源工具kettle的源码 pentaho-kettle-6.1.0.2-R.zip
kettle资料6本
09-01
1：Learning Pentaho CTools(PACKT,2016).pdf 2：Pentaho Data Integration Beginner's Guide, Second Edition.pdf 3：Packt.Pentaho for Big Data Analytics.2013.pdf 4：pentaho kettle solutions.pdf 5：[Packt Publishing] Pentaho 5.0 Reporting by Example Beginner's Guide.pdf 6：Pentaho+Data+Integration 这次是合集。
kettle（6.1.0.1-196 MyEclipse源码工程包） part2
11-02
kettle源码部署教程：http://blog.csdn.net/zutsoft/article/details/52998148
kettle6.1源码部署
chenyh_csdn的博客
09-11 905
最近在研究kettle，开始部署7.1版本的，发行版有资源库但是源码部署的没有连接资源库的地方，后来就部署的6.1版本，这个是有的，只是界面不太一样，网上有很多部署文档，一来是太麻烦，还要建文件夹什么的，二来我也没部署成功，就把我自己部署的过程记录下来，供大家参考。 1.下载kettle工具包和源码 下载地址： 发行版：https://sourceforge.net/projects/pen...
6.1Kettle多数据源合并
qq_56941108的博客
11-13 1844
Kettle实现多数据源的合并
kettle6.1部署
chengcheng的博客
08-30 1298
因为之前用的kettle是4.4的，现在想试着用用kettle6.1版本的，看看有什么差别，但是在部署的时候，运行spoon.bat后就没任务反应了，解决方法如下： 首先注意：kettle6.1的jdk版本最低要求为jdk7 环境变量： JAVA_HOME： C:\Program Files\Java\jdk1.7.0_80 CLASSPATH 增加： %J
kettle 之多线程
weixin_45865760的博客
11-30 3143
ETL项目中性能方面的考虑通常是最重要的，特别是所讨论的任务频繁执行，或一些列的任务必须在固定的时间内执行。本文重点介绍利用kettle转换的多线程特性，以优化其性能。 假设转换中的每个步骤已经设置成最快的执行速度并且调节性能至最佳，且再没有更多的性能提升空间。但是利用kettle的多线程特性仍然可能提升转换的整体性能。 调整队列大小 当尝试优化性能时，你可以调整输入、输出队列的大小。特别是如果你有足够多的内存（RAM）可用。在kettle转换中配置队列大小是转换配置中的“Nr of rows
Kettle 6.1 安装部署详解及图文教程
由于Kettle 6.1要求JDK 1.7或更高版本的支持，所以在安装Kettle前确保JDK已经正确安装并配置环境变量，这可以通过参考相关的文档如《Jdk1.6_win7_64安装及配置环境变量.docx》来完成。 文章还着重讲解了如何配置...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值