kettle维度查询更新组件建立拉链表

原创 于 2023-05-17 18:46:04 发布 · 413 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

当业务系统中的数据发生变化并覆盖时，历史数据可能丢失。在数据仓库中，为了保存数据变化的历史，可以构建拉链表。Kettle的维度查询/更新组件能有效地实现这一功能，例如在CRM系统的合同表contract与数据仓库的fact_contract之间进行操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

业务系统中数据发生变化时，一般会进行更新覆盖，这样历史数据容易丢失，在数据仓库中有时候需要保存数据变化的历史记录，做成拉链表。这时候就可以使用kettle的维度查询/更新 组件来实现了。

场景如下：在CRM系统中有一个合同表contract，在数据仓库有fact_contract

oldlionel
关注
kettle实现拉链表
不想写代码的Light
12-07 1955
kettle 实现 拉链表功能 功能更完善 保姆级说明
Kettle（三）拉链表
weixin_43329319的博客
09-01 1818
文章目录1、示例2、Kettle实现分析3、Kettle实现步骤3.1 更新3.2 插入3.2 流程4、Kettle实现细节4.1 更新4.2 插入5、速度测试5.1 csv数据导入5.2 首次导入数据5.3 更新5.4 插入6、总结与经验 拉链表，顾名思义，就是记录一个事物从开始，一直到当前状态的所有变化的信息。 1、示例 例如下面的流水表，code是会更新的字段。 那么对应的拉链表设计如下：其中uid是自增主键。 需要更详细了解可以参考 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现） 2、
Kettle: 维度查询/更新
读万卷书 行万里路
10-25 5140
1.缓慢变化维
使用kettle制作拉链表
weixin_30399155的博客
12-22 345
拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如客户基本信息表。 下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。 user_info表及数据： user_info_l表及转换后的数据： kettle的设计其实很简单，就一个“表输入”一个“维度查询/更新 下面来看一下表输入的配置： 这个很简单，但是一定要有...
拉链表设计
xiaolang85的专栏
05-27 1619
在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。 1.采集当日全量数据存储到 ND（当日） 表中。  2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。 3.用ND－OD为当日新增和变化的数据（即日增量数据）。 两个表进行全字段比较，将结果记录到tabel_I表中 4.用OD－ND为状态到
大数据-数据仓库：快照表、拉链表，全量表，增量表
u013250861的博客
02-06 3906
大数据-数据仓库：全量表，增量表，拉链表，流水表，快照表
数据仓库之日期维度表构建
weixin_56046673的博客
08-07 4835
导读 大家好，今日立秋，立秋是阳气渐收、阴气渐长，由阳盛逐渐转变为阴盛的转折。我们上一篇文章 数据仓库之维度表 介绍了数据仓库中维度表，本篇文章在此基础上介绍和构建维度表中的日期维度。Kimball 维度建模中的设计原则提到确保每一个事实表都具有关联的日期维度。数据仓库项目中，日期维度是最常见的，不可缺少的维度表之一。 数据仓库之维度表 本文中 ETL 转换使用 Kettle 9.3 版本实现，关注公众号回复关键字 dim_date 获取。 为什么需要日期维度表 Kimball 认为数据仓库中最重要的三
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2671
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
千亿级数仓>缓慢变化维
qq_44509920的博客
05-10 1137
文章目录4 缓慢变化维4.1 什么是缓慢变化维（SCD)4.2 SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二：拉链表存储历史快照代码实现查询拉链表 4 缓慢变化维 4.1 什么是缓慢变化维（SCD) 1、缓慢变化维简介 缓慢变化维，简称SCD（Slowly Changing Dimensions） 一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，
数据仓库框架指导
yyuu002的博客
03-02 3802
数据仓库框架进行梳理，包括概念、建模、最佳实践等
数据仓库维度表更新技术分析
07-10
要想在百度八亿网页的数据海洋中找到你所要的信息， 人工方式需要1200 多人年，而百度搜索技术不到1 秒钟。人 们被数据淹没，却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识，帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中，提取有用数据，进行清理以保证数据的正确性， 然后经过抽取、转换、装载合并到一个企业级的数据仓库里， 从而得到企业数据的一个全局视图，并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理， 最终将知识呈现给管理者，为管理者的决策过程提供支持。 可见，数据仓库技术是商业智能系统的基础，在智能系统开 发过程中，星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实表和环绕在四周的维度表 组成的，事实表中的每一行与每个维度表的多行建立关系， 查询结果是通过将一个或者多个维度表与事实表结合之后产 生的，因此每一个维度表和事实表都有一个“一对多”的连 接关系，维度表的主键是事实表中的外键。随着企业交易量 的越来越多，星型模式中的事实表数据记录行数会不断增加， 而且交易数据一旦生成历史是不能改变的，即便不得不变动， 如对发现以前的错误数字做修改，这些修改后的数据也会作 为一行新纪录添加到事实表中。与事实表总是不断增加记录 的行数不同，维度表的变化不仅是增加记录的行数，而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表的变化类型及其更新技术。
KETTLE 联合查询/更新 维度查询更新 帮助文档
weixin_45008177的博客
09-15 1012
联合查询/更新https://ckettle.ccsaii.com.cn/help/StepPluginType/combinationlookup?s=csdn 维度查询更新 https://blog.youkuaiyun.com/yeshang_lady/article/details/109230313
kettle组件【维度查询/更新】的用法
像豆芽一样优秀
05-12 4862
通过维度查询/更新实现拉链表 1. 逻辑分析 创建数据表、添加示例数据 抽取源数据，通过kettle组件【维度查询/更新】来实现维表中的start_date与end_date首尾相连，实现该人员的每个状态都保存在维表当中。 通过组件来维护【维度查询/更新】组件的一个小bug。 2. 见图如见物 示例数据 绿线代表张三的电话号码更新，红色代表李四的职级的更新，可以清晰的看出两条数据更新且start_date与end_date首尾相连。、 3. 实现步骤 示例数据 CREATE TABLE user
现在银行etl还要做拉链表吗_ETL算法--拉链表算法以及Kettle工具实现
weixin_42524842的博客
01-14 537
用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。看具体例子【转】OD(在第一天就等于HIS)用户标志 状态 开始时间 结束时间1 1 200712 2999012 2 200712 2999013 3 200712 2999014 ...
kettle 判断值是否为空_Kettle实现拉链表
weixin_30367805的博客
12-25 4863
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。首先我们创建部分测试数据，创建一个数据表CREATE TABLE `P_info` ( `p_id` varchar(11) NOT NULL COMMENT '订单编号', `p_beg_date` date DEFAULT NULL C...
现在银行etl还要做拉链表吗_如何用etl工具kettle生成拉链表
weixin_33174889的博客
12-24 471
展开全部拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如32313133353236313431303231363533e58685e5aeb931333363396333客户基本信息表。下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。user_info表及数据：user_info_l表及转换后的数据：kettle的设计其实很简单...
ETL算法--拉链表算法以及Kettle工具实现
小海的专栏
03-05 2896
用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。 看具体例子【转】 OD(在第一天就等于HIS) 用户标志 状态 开始时间 结束时间 1 1 200712 299901 2 2 200712 299901 3 3 200712 299901...
Kettle使用_22 维度更新 缓慢变化维 拉链表
数据科学汇集
01-24 1720
Kettle使用_22 维度更新 Type2 拉链表 需求：通过Kettle实现对员工维度数据的更新和插入。 解决方法：通过维度查询更新组件实现。 Previous work: 准备源数据和维度表结构与数据。 Slow Changing Dimensions(SCD 缓慢变化维) 即数据仓库里的Type2 数据仓库里维度的变化较慢，常用的有三类，分别为： Type1： cust_id name...
数据仓库之拉链表实现
huobumingbai1234的博客
07-22 2063
拉链表在实际工作中还是有使用的必要，能够大量的节省存储空间，我这次主要使用在商户信息构建，商户姓名存在改名字的可能性，但是商户id不变，下面是一个商户信息表做拉链表的例子。 主要构建思路：1、首先，找到记录最早一天的商户信息作为初始状态，写入到最后使用的表中 2、然后把改名字的商户的结束日期修改下 + 每日新增的商户信息 + 改名字之后新的商户...
kettle插入和更新组件
最新发布
03-14
<think>好的，我现在需要帮助用户了解Kettle中用于插入和更新数据的组件及其使用方法。首先，用户提到了插入/更新组件，但根据引用[2]，这个组件性能可能有问题，所以用户可能想知道如何优化或者替代方案。用户还引用了其他资料，比如使用表输出和更新组件分开处理，以及MySQL的ON DUPLICATE KEY语句，这些都需要整合到回答中。 首先，我应该先介绍插入/更新组件的基本用法，说明它的功能和操作步骤。然后，根据引用[2]，用户提到性能问题，需要解释为什么性能低下，以及如何通过分开插入和更新来优化。这里可能需要引用表输出组件和更新组件，分别说明它们的配置方法，比如步骤之间的跳转和字段映射。 接下来，用户可能想知道如何结合数据库特性，比如MySQL的ON DUPLICATE KEY UPDATE，这在引用[4]中提到了。这部分需要解释如何在Kettle中使用SQL脚本组件来实现这个功能，可能给出一个示例SQL语句，并说明其优势，比如减少步骤和提高效率。 另外，用户提供的引用[3]介绍了Kettle的基本信息和安装，可能不需要深入，但可以简要提及Kettle作为ETL工具的背景，让回答更全面。 还需要考虑用户可能遇到的实际问题，比如数据量大的情况下如何处理，性能优化的具体方法，以及不同数据库的兼容性。例如，引用[1]提到插入/更新组件的数据对比机制，需要解释比较字段的重要性，以及如何正确设置这些字段。 最后，生成相关问题，应该围绕用户可能进一步询问的方向，比如性能对比、步骤组合、错误处理、数据量影响以及数据库特性整合等。 需要确保回答结构清晰，分步骤说明不同组件的使用方法，并引用相关资料支持每个部分。同时，语言要简洁，避免技术术语过多，让用户容易理解。可能还需要注意中英文术语的转换，比如组件名称保持英文，但解释用中文。此外，代码块和SQL示例要正确格式化，符合用户提供的格式要求。</think>### Kettle插入与更新数据组件使用方法 Kettle（PDI）通过插入/更新组件实现数据同步功能，同时提供替代方案应对不同场景需求。以下是具体组件用法及优化建议： --- #### 一、插入/更新组件（基础用法） 1. **功能说明** 该组件将源数据与目标表逐行比对，存在则更新，不存在则插入[^1] 2. **操作步骤** - 添加「插入/更新」步骤到转换 - 设置目标数据库连接 - 指定目标表名 - 配置关键比对字段（如主键） - 映射输入字段与目标字段 3. **性能特点** 默认配置下处理速度约500-1000条/秒，大数据量时建议拆分处理[^2] --- #### 二、高性能替代方案 1. **拆分处理策略** - **插入操作**：使用「表输出」组件批量写入新数据 ```python 步骤关系：输入 -> 表输出 配置要点：启用批量插入，设置提交记录数（建议1000-5000） ``` - **更新操作**：使用「更新」组件单独处理 ```python 步骤关系：输入 -> 更新 配置要点：精确设置WHERE条件字段，建立目标表索引 ``` 2. **数据库特性集成** 通过「执行SQL脚本」组件调用数据库原生语法： ```sql INSERT INTO table (id,data) VALUES (?,?) ON DUPLICATE KEY UPDATE data=VALUES(data) # MySQL示例[^4] ``` 优势：单步骤完成操作，效率提升30%-50% --- #### 三、组件选择建议 | 场景 | 推荐方案 | 优势 | |------|----------|------| | 小数据量 | 插入/更新组件 | 配置简单 | | 大数据量 | 拆分方案 | 吞吐量高 | | 特定数据库 | SQL脚本方案 | 最佳性能 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值