ETL-kettle-3.kettle多表合并判断抽取

最新推荐文章于 2022-12-01 00:00:57 发布
最新推荐文章于 2022-12-01 00:00:57 发布
阅读量7.9k 收藏 26
点赞数 5
CC 4.0 BY-SA版权
分类专栏： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_35860785/article/details/89277016
本文介绍了如何使用Kettle工具将Oracle中的四张表（学生、老师、成绩、课程）的数据抽取并合并到MySQL数据库中。通过建立数据库连接，分析表间关系，创建目标表，定义数据抽取规则，最终实现数据的导入和更新。主要步骤包括：连接数据库、理解表关联、创建MySQL表、Kettle中进行数据处理和插入更新操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

建表语句在上一篇已经写过了 就不写了哈
需求：
Oracle中一共有四张表，将每个学生的信息和学过课程科目的总数，抽取到MySQL的数据库表中

一、建立两个数据库的连接

二、分析表连带关系

三、在MySQL中创建表

四、在kettle中抽取、定义规则

五、实现

#一、建立两个数据库的连接以及共享连接在上一篇里面有写到，这里不赘述了。
#二、分析表的连带关系
这里我们看到一共有四张表 分别是 学生表、老师表、成绩表、课程表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
也就是说
成绩表中的: sid 对应学生的sid 、cid对应课程表中的cid,score就是分数了
课程表中的：tid对应老师表中的tid

三、在MySQL中创建表

最低0.47元/天 解锁文章

200万优质内容无限畅学
Kettle数据抽取（四）
荒的博客
06-21 146
更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录（目标）和数据流（来源）的记录进行对比的控件。本章节任务：手动修改下student表的数据（修改和新增），然后用修改后的数据和student2来进行比较，分别尝试更新和插入/更新控件的区别。是将数据库中的数据和数据流中的数据做对比，如果不同就更新，如果数据流的数据比数据库中的数据多，那么就报错。：我们一般用主键进行对比，如果主键不能一一对应，比如student表的id是1。的功能和更新一样，只不过优化了数据不存在就插入的功能，
KETTLE实现批量抽取多表数据（全删全插）
kingloong123的博客
04-03 8348
KETTLE实现批量抽取多表数据（全删全插） kettle抽取单张表数据我们都会做，直接表输入，表输出即可。但如果需要抽取的表比较多，还要一张一张表去配置作业么，，，，当然也是可以的，也是一种解决问题的方法。但多张表作业配置操作繁琐，效率较低，想想如果有几百张表，真的要死了。。 以下是解决此问题详细流程，自己也是个小白，如有错误欢迎指出，有好的方法也欢迎分享出来共同交流，共同进步，感谢！！ （参考...
ETL针对多节点合并表抽取数据合并案例
03-29
kettle 针对多节点合并表抽取数据合并案例，把数据从DC层抽取合并到ODS层
kettle学习，多表关联数据抽取一。
dear_Alice_moon的专栏
06-26 2679
Mysql数据库下有3张表：ecs_brand、ecs_category、ecs_goods，表结构如下所示。 CREATE TABLE `ecs_goods` ( `goods_id` bigint(16) NOT NULL, `goods_name` varchar(64) DEFAULT NULL, `cat_id` bigint(16) DEFAULT NULL, ...
kettle 批量抽取多个表数据
weixin_40479337的博客
05-11 1939
使用kettle从一个库将数据抽取到另一个库，单个表一个转换就可以简单实现了，那如果是好多表呢，难道要建若干个转换来实现这个功能吗，那就尝试做一个批量抽取的job吧！ 整个抽取过程包括一个job和两个trans，先来看看整个job吧： job的start和success就没什么可说的了，两个脚本是关键，接下来一步一步来。 首先是文件输入这个trans： 这个trans的作用是提取表名并放入结果集中，表输入是用一段SQL语句将表名输出，字段选择是将SQL输出的那个含有表名的字段提取出来并重新.
kettle-sdk-plugin-assembly-8.3.0.0-371.zip
08-06
pdi-ce-8.3.0.0-371.zip-kettle8.3版本插件SDK包，适用于大数据ETL开发人员进行大数据抽取转换（清洗）加载的一款开源ETL工具，Pentaho DataIntegration，官方可扩展自定义插件模板
pentaho-kettle-9.0.0.2-R.tar.gz
11-12
转换负责从不同来源抽取数据，进行清洗、转换和加载到目标系统中，而作业则用来管理和协调多个转换，形成更复杂的流程。Kettle支持多种数据源，包括关系型数据库、文件系统、云存储、Web服务等，并且可以与大数据...
pentaho-kettle
06-08
3. **metastore-8.3.0.0-371.jar**：元数据存储库，是Pentaho Kettle用来存储和管理ETL过程中涉及的所有元数据的组件。元数据可以包括数据库表结构、转换步骤的配置、作业和转换的定义等。这个JAR文件包含了Pentaho...
ETL工具pdi-7.1.0.0-12（Kettle）.zip
05-28
**ETL工具PDI（Kettle）详解** ETL（Extract, Transform, Load）是数据仓库建设中的核心过程，用于从各种数据源提取数据，经过转换处理，最终加载到目标数据库或数据仓库中。PDI，全称为Pentaho Data Integration，...
Kettle实现多表数据全量抽取
01-28
Kettle实现多张表数据的定时删除全量抽取，删除旧shuju
kettle合并记录处理同表数据更新等操作
12-06
kettle合并记录处理同表数据更新等操作.doc
使用kettle进行增量抽取数据
cbphan的博客
11-15 1万+
需求背景： 当下行业，做程序不在是一味的写增删改查了。数据汇聚、数据清洗、数据转换已成为普遍现象，本人所在的项目就是这样的一个情况。由于客户建设的系统数量多，业务分支复杂。虽同属一个主业务，但每次统筹决策查询数据时就犯难了。由于数据孤岛，关联查询成为最难解决的问题。为了解决这个问题，我需要做的就是将几十个系统数据全部汇聚在一起，方便后续的数据分析使用。 说到数据汇聚，我们通常采用的办法就是通过ETL工具进行抽取，也有通过Oracle触发器利用dblink方...
kettle 多表级联 将多个表格的查询的数据插入到一个表格中
热门推荐
bird_tp的博客
11-06 1万+
1.首先新建数据库表格 use testA; create table userC(     id int primary key,     name varchar(50),     age int ) go insert into userC values(10001,'张三',20); insert into userC values(10002,'李四',25); insert int...
KETTLE实现循环批量多表抽取添加字段
qq_36688928的博客
05-22 2017
转自：https://blog.csdn.net/qq_41704358/article/details/79519133 kettle 教程（二）：常用输出（插入更新、表输出、执行 SQL 脚本）:https://blog.csdn.net/qqfo24/article/details/82215761 kettle_动态表（每日新建表、表格式统一）数据同步:https://blog....
使用Kettle实现多数据源合并到目标数据库表
dashen110的博客
10-27 1万+
话不多说，直接开干。 先看下最终效果： 1、打开Kettle工具，选择左上角 文件 ->新建->转换 2、在左侧工具窗口中，选择主对象树窗口创建DB连接，创建步骤见Kettle使用 3、在左侧工具窗口中，选择核心对象窗口，选择表输入模块，拖入右侧工作区 双击表输入模块，选择刚刚创建的数据库连接，写sql 再次选择表输入模块，拖入右侧工作区，重复配置数据库连接 3、选择转换文件夹下的排序记录模块，拖入右侧工作区，双击排序记录模块配置字段，只留下关联关键字字段即可。 再次拖入一个排序记
kettle （6.1 多数据源合并）
qq_56905137的博客
12-01 965
多数据源合并
ETL-Kettle中文用户手册：全面指南
Kettle，原名Pentaho Data Integration（PDI），是一个开源的ETL工具，用户可以利用它在不同的数据源之间进行数据的抽取、转换和加载操作。Kettle支持多种数据源，如关系数据库、平面文件、Excel等，并能将数据加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值