kettle维度查询更新组件建立拉链表

原创 于 2023-05-17 18:46:04 发布 · 492 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

当业务系统中的数据发生变化并覆盖时，历史数据可能丢失。在数据仓库中，为了保存数据变化的历史，可以构建拉链表。Kettle的维度查询/更新组件能有效地实现这一功能，例如在CRM系统的合同表contract与数据仓库的fact_contract之间进行操作。

业务系统中数据发生变化时，一般会进行更新覆盖，这样历史数据容易丢失，在数据仓库中有时候需要保存数据变化的历史记录，做成拉链表。这时候就可以使用kettle的维度查询/更新 组件来实现了。

场景如下：在CRM系统中有一个合同表contract，在数据仓库有fact_contract

oldlionel
关注
Kettle（三）拉链表
weixin_43329319的博客
09-01 1869
文章目录1、示例2、Kettle实现分析3、Kettle实现步骤3.1 更新3.2 插入3.2 流程4、Kettle实现细节4.1 更新4.2 插入5、速度测试5.1 csv数据导入5.2 首次导入数据5.3 更新5.4 插入6、总结与经验 拉链表，顾名思义，就是记录一个事物从开始，一直到当前状态的所有变化的信息。 1、示例 例如下面的流水表，code是会更新的字段。 那么对应的拉链表设计如下：其中uid是自增主键。 需要更详细了解可以参考 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现） 2、
第八章 综合案例
weixin_51670063的博客
11-27 729
kettle第八章作业
kettle创建时间维度
01-07
一:流程 二:实现步骤 1.小时 1.1生成小时 1.2增加小时序列 1.3javaScript代码生成小时和AM/PM //生成12小时 var hours12 = hours24.getInteger() ; //生成AM/pm var am_pm = hours24.getInteger() > 12 ? PM : AM; 2.分钟 2.1生成分钟 2.2增加分钟序列 3.秒 3.1生成秒 3.2增加秒序列 4.笛卡尔积(时 * 分 * 秒) 5.javaScript代码生成时间属性 //时间属性 var time = (hours24.getI
Kettle: 维度查询/更新
读万卷书 行万里路
10-25 5250
1.缓慢变化维
kettle实现拉链表
不想写代码的Light
12-07 1999
kettle 实现 拉链表功能 功能更完善 保姆级说明
大数据-数据仓库：快照表、拉链表，全量表，增量表
u013250861的博客
02-06 3991
大数据-数据仓库：全量表，增量表，拉链表，流水表，快照表
数据仓库 --拉链表技术介绍
kismet
05-12 1162
拉链表： 维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。 数据仓库的数据模型设计过程中，经常会遇到这样的需求： 表中的部分字段会被update，例如： 用户的地址，产品的描述信息，品牌信息等等; 需要查看某一个时间点或者时间段的历史快照信息，例如： 查看某一个产品在历史某一时间点的状态 查看某一个用户在过去某一段时间内，更新过几次等等 变化的比例和频率不是
数据仓库之日期维度表构建
weixin_56046673的博客
08-07 4921
导读 大家好，今日立秋，立秋是阳气渐收、阴气渐长，由阳盛逐渐转变为阴盛的转折。我们上一篇文章 数据仓库之维度表 介绍了数据仓库中维度表，本篇文章在此基础上介绍和构建维度表中的日期维度。Kimball 维度建模中的设计原则提到确保每一个事实表都具有关联的日期维度。数据仓库项目中，日期维度是最常见的，不可缺少的维度表之一。 数据仓库之维度表 本文中 ETL 转换使用 Kettle 9.3 版本实现，关注公众号回复关键字 dim_date 获取。 为什么需要日期维度表 Kimball 认为数据仓库中最重要的三
千亿级数仓>缓慢变化维
qq_44509920的博客
05-10 1171
文章目录4 缓慢变化维4.1 什么是缓慢变化维（SCD)4.2 SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二：拉链表存储历史快照代码实现查询拉链表 4 缓慢变化维 4.1 什么是缓慢变化维（SCD) 1、缓慢变化维简介 缓慢变化维，简称SCD（Slowly Changing Dimensions） 一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，
使用kettle制作拉链表
weixin_30399155的博客
12-22 370
拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如客户基本信息表。 下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。 user_info表及数据： user_info_l表及转换后的数据： kettle的设计其实很简单，就一个“表输入”一个“维度查询/更新 下面来看一下表输入的配置： 这个很简单，但是一定要有...
数据仓库维度表更新技术分析
07-10
要想在百度八亿网页的数据海洋中找到你所要的信息， 人工方式需要1200 多人年，而百度搜索技术不到1 秒钟。人 们被数据淹没，却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识，帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中，提取有用数据，进行清理以保证数据的正确性， 然后经过抽取、转换、装载合并到一个企业级的数据仓库里， 从而得到企业数据的一个全局视图，并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理， 最终将知识呈现给管理者，为管理者的决策过程提供支持。 可见，数据仓库技术是商业智能系统的基础，在智能系统开 发过程中，星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实表和环绕在四周的维度表 组成的，事实表中的每一行与每个维度表的多行建立关系， 查询结果是通过将一个或者多个维度表与事实表结合之后产 生的，因此每一个维度表和事实表都有一个“一对多”的连 接关系，维度表的主键是事实表中的外键。随着企业交易量 的越来越多，星型模式中的事实表数据记录行数会不断增加， 而且交易数据一旦生成历史是不能改变的，即便不得不变动， 如对发现以前的错误数字做修改，这些修改后的数据也会作 为一行新纪录添加到事实表中。与事实表总是不断增加记录 的行数不同，维度表的变化不仅是增加记录的行数，而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表的变化类型及其更新技术。
KETTLE 联合查询/更新 维度查询更新 帮助文档
weixin_45008177的博客
09-15 1045
联合查询/更新https://ckettle.ccsaii.com.cn/help/StepPluginType/combinationlookup?s=csdn 维度查询更新 https://blog.youkuaiyun.com/yeshang_lady/article/details/109230313
拉链表设计
xiaolang85的专栏
05-27 1633
在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。 1.采集当日全量数据存储到 ND（当日） 表中。  2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。 3.用ND－OD为当日新增和变化的数据（即日增量数据）。 两个表进行全字段比较，将结果记录到tabel_I表中 4.用OD－ND为状态到
kettle组件【维度查询/更新】的用法
像豆芽一样优秀
05-12 5002
通过维度查询/更新实现拉链表 1. 逻辑分析 创建数据表、添加示例数据 抽取源数据，通过kettle组件【维度查询/更新】来实现维表中的start_date与end_date首尾相连，实现该人员的每个状态都保存在维表当中。 通过组件来维护【维度查询/更新】组件的一个小bug。 2. 见图如见物 示例数据 绿线代表张三的电话号码更新，红色代表李四的职级的更新，可以清晰的看出两条数据更新且start_date与end_date首尾相连。、 3. 实现步骤 示例数据 CREATE TABLE user
现在银行etl还要做拉链表吗_ETL算法--拉链表算法以及Kettle工具实现
weixin_42524842的博客
01-14 560
用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。看具体例子【转】OD(在第一天就等于HIS)用户标志 状态 开始时间 结束时间1 1 200712 2999012 2 200712 2999013 3 200712 2999014 ...
kettle 判断值是否为空_Kettle实现拉链表
weixin_30367805的博客
12-25 4974
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。首先我们创建部分测试数据，创建一个数据表CREATE TABLE `P_info` ( `p_id` varchar(11) NOT NULL COMMENT '订单编号', `p_beg_date` date DEFAULT NULL C...
现在银行etl还要做拉链表吗_如何用etl工具kettle生成拉链表
weixin_33174889的博客
12-24 495
展开全部拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如32313133353236313431303231363533e58685e5aeb931333363396333客户基本信息表。下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。user_info表及数据：user_info_l表及转换后的数据：kettle的设计其实很简单...
ETL算法--拉链表算法以及Kettle工具实现
小海的专栏
03-05 2924
用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。 看具体例子【转】 OD(在第一天就等于HIS) 用户标志 状态 开始时间 结束时间 1 1 200712 299901 2 2 200712 299901 3 3 200712 299901...
Kettle使用_22 维度更新 缓慢变化维 拉链表
数据科学汇集
01-24 1835
Kettle使用_22 维度更新 Type2 拉链表 需求：通过Kettle实现对员工维度数据的更新和插入。 解决方法：通过维度查询更新组件实现。 Previous work: 准备源数据和维度表结构与数据。 Slow Changing Dimensions(SCD 缓慢变化维) 即数据仓库里的Type2 数据仓库里维度的变化较慢，常用的有三类，分别为： Type1： cust_id name...
kettle插入和更新组件
最新发布
03-14
好的，我现在需要帮助用户了解Kettle中用于插入和更新数据的组件及其使用方法。首先，用户提到了插入/更新组件，但根据引用[2]，这个组件性能可能有问题，所以用户可能想知道如何优化或者替代方案。用户还引用了其他...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值