kettle6.1转换内正确的并发设置姿势

最新推荐文章于 2022-11-13 15:47:23 发布
最新推荐文章于 2022-11-13 15:47:23 发布
阅读量2.7k 收藏 5
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 数据库 bigdata kettle 文章标签： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fzuzhanghao1993/article/details/103767914
本文剖析了网络上关于多线程并发应用的常见误解，特别是“改变开始复制的数量”这一概念的错误解读，指出将复制数错误地设置在输入端而非输出端，导致了数据重复写入和性能下降的问题，并提供了正确的实现方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引子

网上很多教程没搞懂“改变开始复制的数量”这个意思，将数量设置在输入端，导致不仅没有进行多线程并发，反而变成复制读入多分数据导致开销增大，而且还造成了数据重复写入，这样还敢说性能提升，真是有鬼了。

实际效果

单线程效果

单线程插入

所谓的“多线程”，不仅没有提升速度，反而给我往文本文件里写了50W条数据，说这个多线程的，不会阅读什么叫“开始复制”这四个字吗，都说了复制了！！真是蠢爆了。

复制数5

正确姿势

复制数应当设置在输出端！这个时候是以流中的数据，变为5份执行。
输出端

加速！！

如果要进一步提升怎么办？应当通过相应规则设置输入步骤，比如分页、业务时间等

分页读

kettle 6.1
07-30
kettle 6.1.0.1-196版本，支持JDK1.7版本，方便不是用1.8JDK版本的同学
Kettle 6.1 ETL工具
10-15
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
kettle过滤、生成随机数、改变开始复制数量
ajsyipsc40270的博客
09-10 839
下面是一个用Kettle实现数据过滤、生成随机数、改变开始复制数量的连贯示意图。 首先，我们将控件一一建立，通过hop建立连接 下面对每一个控件进行设置 1.生成随机数控件（随机取一个数字与字符串） 2.过滤控件 3.文本文件输出 4.改变开始复制的数量 这个功能实际的含义是：设置多少份的拷贝，开多少线程 例如：开20个线程，拷贝20份，那么单击控件...
彻底搞清 Kettle 数据分发方式与多线程
wzy0623的专栏
05-20 6769
彻底搞清 Kettle 数据分发方式与多线程
kettle并发数量设置
AntKengElephant的博客
07-16 3296
start后设置多个并发，鼠标右击start 选择RUN Next Entries in Parallel
Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行
薛秋艳的博客
06-08 2193
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。 一、Kettle的部署 不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动s...
Kettle 数据抽取【Version 6.1】
Abner_G的博客
08-05 1039
Kettle 数据抽取【Version 6.1】背景简述安装使用安装设置系统变量（KETTLE_HOME）使用首先创建一个“工作”，建立一个简单的工作流表输入注意点文本文件输出注意点循环设置参数循环job注意点java代码java代码注意点压缩文件压缩文件注意点邮件控件 背景 需要按一定规则从数据库抽取量比较大的数据。使用ETL工具完成。 简述 Kettle是国外开源的ETL工具，Java编写。后来改名PDI 转换（transformation）和工作（job）的区别： 转换是数据流，工作是步骤流，作业的每
eclipse kettle6.1源代码
04-06
Eclipse Kettle 6.1源代码是用于深入了解和定制数据集成工具Pentaho Data Integration（也称为Kettle）的开发资源。Kettle是一个开源的企业级ETL（Extract, Transform, Load）平台，广泛用于数据仓库建设和数据迁移...
Kettle 6.1.0.1-196 MyEclipse源码工程包第一部分
最新发布
06-11
资源下载链接为： https://pan.quark.cn/s/3d8e22c21839 Kettle 6.1.0.1-196 MyEclipse源码工程包第一部分
pentaho-kettle-6.1.0.2-R.zip
03-21
通过深入了解Pentaho Kettle 6.1.0.2-R，我们可以更好地利用这个工具进行高效的数据集成和转换，提升企业的数据管理能力。无论是数据迁移、数据清洗还是数据分析，Pentaho Kettle都能提供有力的支持。
Kettle-6.1安装部署及使用教程-贵在详细截图说明
12-28
Kettle-6.1安装部署及使用教程-贵在详细截图说明
kettle6开发
01-16
Kettle6内置步骤开发
Kettle （pdi-ce-6.1.0.1）常用组件使用手册
12-06
本文档介绍了kettle常用组件的使用方法，并附截图。。 适合新接触kettle的朋友
kettle资料6本
09-01
1：Learning Pentaho CTools(PACKT,2016).pdf 2：Pentaho Data Integration Beginner's Guide, Second Edition.pdf 3：Packt.Pentaho for Big Data Analytics.2013.pdf 4：pentaho kettle solutions.pdf 5：[Packt Publishing] Pentaho 5.0 Reporting by Example Beginner's Guide.pdf 6：Pentaho+Data+Integration 这次是合集。
kettle6与kettle7版本比较
10-12
我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
kettle6.1源码部署
chenyh_csdn的博客
09-11 875
最近在研究kettle，开始部署7.1版本的，发行版有资源库但是源码部署的没有连接资源库的地方，后来就部署的6.1版本，这个是有的，只是界面不太一样，网上有很多部署文档，一来是太麻烦，还要建文件夹什么的，二来我也没部署成功，就把我自己部署的过程记录下来，供大家参考。 1.下载kettle工具包和源码 下载地址： 发行版：https://sourceforge.net/projects/pen...
6.1Kettle多数据源合并
qq_56941108的博客
11-13 1794
Kettle实现多数据源的合并
kettle 之多线程
weixin_45865760的博客
11-30 3064
ETL项目中性能方面的考虑通常是最重要的，特别是所讨论的任务频繁执行，或一些列的任务必须在固定的时间内执行。本文重点介绍利用kettle转换的多线程特性，以优化其性能。 假设转换中的每个步骤已经设置成最快的执行速度并且调节性能至最佳，且再没有更多的性能提升空间。但是利用kettle的多线程特性仍然可能提升转换的整体性能。 调整队列大小 当尝试优化性能时，你可以调整输入、输出队列的大小。特别是如果你有足够多的内存（RAM）可用。在kettle转换中配置队列大小是转换配置中的“Nr of rows
kettle6.1读写hive on hbase记录
豪大大的博客
05-21 1014
版本 kettle 6.1 hbase 1.2.6 hive 2.2.0 hadoop 2.6.5 数据架构 业务数据通过kafka流向业务数据处理引擎，过滤后的数据写入hbase，kettle job定期执行作业，读取hive运算结果写入业务mysql库中，提供给前端展示。 实现 1、hive on hbase hive与hbase数据互通，这点利用hive自带的hive-hb...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值