kettle PDI学习笔记（九）：连接

最新推荐文章于 2025-10-31 04:16:33 发布
原创 最新推荐文章于 2025-10-31 04:16:33 发布 · 530 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #etl

本文是Kettle PDI的学习笔记，重点介绍了数据连接操作，包括合并记录、记录关联（笛卡尔输出）和记录集连接。通过实例展示了如何使用这些功能将来自Excel1和Excel2的数据按关键字合并、进行笛卡尔乘积和不同类型的连接，以实现数据整合。

目录

合并记录

合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字进行匹配、比较、合并。
字段描述
在这里插入图片描述
Excel1
在这里插入图片描述
Excel2
在这里插入图片描述合并记录
在这里插入图片描述
结果
在这里插入图片描述

记录关联（笛卡尔输出）

最低0.47元/天 解锁文章
kettle之记录关联-笛卡尔积输出
wulangdejava的博客
04-04 7316
最近由于工作涉及的OLTP系统升级ETL工具的原因，接触了kettle工具，由于没有做好基础工作，公司大牛给的关于kettle的资料《PDI构建开源ETL解决方案》，没有认真了解，导致使用起来步履维艰。记录关联-笛卡尔输出例：按照旧ETL工具，需要将基础表A、表B、表C、表D，4张表的数据保存到本地数据库，然后，再通过SQL将4张表的数据关联到一张结果表，过程共产生5张表，严重浪费数据库资源，以及...
kettle pdi-ce-9.0.0.0-423
09-26
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
pentaho-kettle 与 LDAP 集成：统一身份认证实现
最新发布
gitblog_01043的博客
10-31 350
在企业级数据集成场景中，统一身份认证是保障系统安全的关键环节。pentaho-kettle（又称Kettle）作为一款强大的开源数据集成工具，通过与LDAP（轻量级目录访问协议，Lightweight Directory Access Protocol）集成，可实现用户身份的集中管理与验证，避免重复维护多套账号体系。本文将详细介绍如何在pentaho-kettle中配置LDAP集成，解决多系统身份...
PDI9.1(kettle)创建资源库
果果的小莴笋
08-18 1081
PDI9.1(kettle)创建资源库 1.点击connect 2.点击Repository Manager 3.点击Other Repository 4.点击Database Repository-Get Started 5.起个名字后点击Database Connection 6.点击Create New Connection,配置数据库即可 PS：配置完之后可以测试下是否能连上数据库，如果报错的话一般检查下是否有驱动。没有就把相关驱动放到PDI路径下的lib文件夹，重启PDI即可。 7.成功
大数据技术之 Kettle（PDI）
热门推荐
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
pdi-ce-9.0.0.0-423.txt
07-13
最新kettle，版本pdi-ce-9.0.0.0-423,官方版本，网盘下载，速度飞起，比官方下载速度快
kettle9.0 第五卷
08-04
kettle9.0, 使用 Pentaho Kettle 9.0.0.0 源码编译的kettle，可直接运行。2018年7月刚出的最新版。1个G，论坛限制200M上传，分5个包
kettle PDI学习笔记（六）：应用
梦回乌托邦
11-09 212
目录替换空值写日志 替换空值 源数据 处理后 写日志 写日志主要在调试的时候使用，把日志信息打印到日志窗口。 红框可以选择日志级别
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 567
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 924
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle PDI学习笔记（八）：查询
梦回乌托邦
11-09 374
目录HTTP client数据库查询数据库连接流查询 HTTP client HTTP client是使用get的方式提交请求，获取返回的页面内容。 用这个接口可以得到一个xml： http://services.odata.org/V3/Northwind/Northwind.svc/Products/ 自定义常量 HTTP client Get data from xml /feed/entry/content/m:properties 结果 数据库查询 就是左连接查询 数据库连
kettle pdi-ce-9.0.0.0-423（百度网盘地址含取件码）2020年2月官方9.0最新版
03-23
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
将两个表的数据通过笛卡尔积输出到新表中
07-03
将两个表的数据通过笛卡尔积输出到新表中，通过Kettle 转换的形式跑的
PDI/Kettle-9.2.0.0-R（对应jdk1.8）源码编译问题记录及源码结构简介
12-12 5509
问题1：503 Service Temporarily Unavailable and 'parent.relativePath' points at wrong local POM 】问题2：karaf-maven-plugin:4.2.6-R2 or one of its dependencies could not be resolved】问题3：org.pentaho:pentaho-ce-jar-parent-pom:pom:9.2.0.0-290 was not found
使用PDI将Oracle11g 的数据迁移同步到Mysql5.7
weixin_42488632的博客
02-15 504
使用PDI将Oracle11g 的数据迁移同步到Mysql5.7
数据库与MPP数仓(十六)：开源ETL工具kettle的使用
叶子叶来
11-03 6313
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控.
PDI-KETTLE-3：数据库连接
weixin_30856725的博客
07-20 234
　　在此记录之前连接过的一些数据库方式，补充在前做一个分类： 1、ODBC方式，注意jdk1.8以上不支持le 2、JDBC方式， 3、通用数据库方式 4、JNDI方式 以下以不同的数据做例子： 一　　ODBC 连ORACLE 　　1 安装oracle客户端，创建ODBC数据源 　　2 填写数据库信息，点击测试连接，输入账号密码测试通过 　　　　例如tsn (...
PDI传输包含clob字段
本白
05-22 295
今天在使用PDI传输包含clob字段数据表的时候，发现效率非常低，在类比其他表的字段时，发现此表中含有两个clob字段，后使用dbms_lob.substr(字段名)函数将两个字段转换字符串类型后，效率提升与其他表无异。 ...
光电-3.纸带-3.1kettle学习笔记
weixin_50720967的博客
12-25 1392
资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以是各种常见的数据库，用户通过用户名/密码来访问资源库中的资源，默认的用户名/密码是admin/admin，资源库并不是必须的，如果没有资源库，用户还可以把转换任务保存在xml 文件中。资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值