kettle PDI学习笔记（九）：连接

最新推荐文章于 2025-02-21 16:15:01 发布
最新推荐文章于 2025-02-21 16:15:01 发布
阅读量469 收藏
点赞数
分类专栏： Kettle 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/this_break/article/details/109579226
版权
本文是Kettle PDI的学习笔记，重点介绍了数据连接操作，包括合并记录、记录关联（笛卡尔输出）和记录集连接。通过实例展示了如何使用这些功能将来自Excel1和Excel2的数据按关键字合并、进行笛卡尔乘积和不同类型的连接，以实现数据整合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

合并记录

合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字进行匹配、比较、合并。
字段描述
在这里插入图片描述
Excel1
在这里插入图片描述
Excel2
在这里插入图片描述合并记录
在这里插入图片描述
结果
在这里插入图片描述

记录关联（笛卡尔输出）

最低0.47元/天 解锁文章
kettle之记录关联-笛卡尔积输出
wulangdejava的博客
04-04 7224
最近由于工作涉及的OLTP系统升级ETL工具的原因，接触了kettle工具，由于没有做好基础工作，公司大牛给的关于kettle的资料《PDI构建开源ETL解决方案》，没有认真了解，导致使用起来步履维艰。记录关联-笛卡尔输出例：按照旧ETL工具，需要将基础表A、表B、表C、表D，4张表的数据保存到本地数据库，然后，再通过SQL将4张表的数据关联到一张结果表，过程共产生5张表，严重浪费数据库资源，以及...
kettle pdi-ce-9.0.0.0-423
09-26
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
kettle使用java脚本插入IDAP数据
最新发布
weixin_50671425的博客
02-21 315
背景：上一篇不是讲了如何用控件导入数据嘛，13的老板说我导的数据里面的密码字段不是SHA加密的，后续我通过java脚本将密码加密为SHA后，再通过IDAP控件插入的时候，发现SHA中的“+”和“=”无法被IDAP控件通过dn的方式直接写入（当时），然后就研究通过JAVA代码的方式写入数据。这里简单说一下如何操作。
PDI9.1(kettle)创建资源库
果果的小莴笋
08-18 985
PDI9.1(kettle)创建资源库 1.点击connect 2.点击Repository Manager 3.点击Other Repository 4.点击Database Repository-Get Started 5.起个名字后点击Database Connection 6.点击Create New Connection,配置数据库即可 PS：配置完之后可以测试下是否能连上数据库，如果报错的话一般检查下是否有驱动。没有就把相关驱动放到PDI路径下的lib文件夹，重启PDI即可。 7.成功
大数据技术之 Kettle（PDI）
热门推荐
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
pdi-ce-9.0.0.0-423.txt
07-13
最新kettle，版本pdi-ce-9.0.0.0-423,官方版本，网盘下载，速度飞起，比官方下载速度快
kettle9.0 第五卷
08-04
kettle9.0, 使用 Pentaho Kettle 9.0.0.0 源码编译的kettle，可直接运行。2018年7月刚出的最新版。1个G，论坛限制200M上传，分5个包
kettle PDI学习笔记（六）：应用
梦回乌托邦
11-09 184
目录替换空值写日志 替换空值 源数据 处理后 写日志 写日志主要在调试的时候使用，把日志信息打印到日志窗口。 红框可以选择日志级别
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 508
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 592
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
kettle PDI学习笔记（四）：输出
梦回乌托邦
11-08 351
目录Excel输出文本文件输出sql输出表输出更新插入更新删除 Excel输出 案例：从mysql输出到xls和xlsx 拉出来表输入和两个输出并配置好表输入，让选择分发/复制，选择复制就好。 Excel输出配置：选择文件、获取字段就ok了 Microsoft Excel输出：扩展名改成xlsx就可以在下边红框打勾了，据说是速度更快，内容里获取字段即可 运行，ok 文本文件输出 用数据库输出到文本文件，可以回到Excel输出，DB，右击，数据库共享，别的文本文件就不用新建数据库连接，可以直接使用了。（共
kettle pdi-ce-9.0.0.0-423（百度网盘地址含取件码）2020年2月官方9.0最新版
03-23
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
将两个表的数据通过笛卡尔积输出到新表中
07-03
将两个表的数据通过笛卡尔积输出到新表中，通过Kettle 转换的形式跑的
2019年9月官方最新版Kettle pdi-ce-8.3.0.0-371
07-30
kettle2019版8.3.0.0-371压缩版本，pdi-ce-8.3.0.0-371.rar 源文件1.05G，超出最大上传文件大小 上传的文件是解压后通过WinRAR重新压缩的，如果不能使用请及时回复
PDI/Kettle-9.2.0.0-R（对应jdk1.8）源码编译问题记录及源码结构简介
12-12 4701
问题1：503 Service Temporarily Unavailable and 'parent.relativePath' points at wrong local POM 】问题2：karaf-maven-plugin:4.2.6-R2 or one of its dependencies could not be resolved】问题3：org.pentaho:pentaho-ce-jar-parent-pom:pom:9.2.0.0-290 was not found
使用PDI将Oracle11g 的数据迁移同步到Mysql5.7
weixin_42488632的博客
02-15 426
使用PDI将Oracle11g 的数据迁移同步到Mysql5.7
数据库与MPP数仓(十六)：开源ETL工具kettle的使用
叶子叶来
11-03 6160
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控.
PDI-KETTLE-3：数据库连接
weixin_30856725的博客
07-20 178
　　在此记录之前连接过的一些数据库方式，补充在前做一个分类： 1、ODBC方式，注意jdk1.8以上不支持le 2、JDBC方式， 3、通用数据库方式 4、JNDI方式 以下以不同的数据做例子： 一　　ODBC 连ORACLE 　　1 安装oracle客户端，创建ODBC数据源 　　2 填写数据库信息，点击测试连接，输入账号密码测试通过 　　　　例如tsn (...
PDI传输包含clob字段
本白
05-22 265
今天在使用PDI传输包含clob字段数据表的时候，发现效率非常低，在类比其他表的字段时，发现此表中含有两个clob字段，后使用dbms_lob.substr(字段名)函数将两个字段转换字符串类型后，效率提升与其他表无异。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值