数据仓库的工作日记_创纪录的(一)

本文分享了一个地方性商业银行数据仓库项目的实践经验。系统结构包括ODS层和DW层,并介绍了各层的功能及实现方式。同时,还提及了项目使用的调度工具。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  在从事数据仓库几年传统产业(敢写了很多年),离etl发展做建筑师。

由于行业之间的关系的因素是。像银行,电信这些单位(一些体制问题,没有详细说明),这将有自己的IT系。 但IT盛,也就更不会招聘自己的项目团队,这也就养育了我天朝强大的外包事业,而我一直都是这外包大军中的一员。

  准备把文章分成几个主题来写,这个主题是用来记如今刚启动项目的工作笔记的,工作中的一些奇闻轶事就放到其它主题了。

  项目介绍:背景-某地方性商业银行;上线时间-n年前。系统结构-ods,dw,下游系统。

  ods层:源系统的映射层。与源系统同构。仅仅保留当期数据。之所以设计ods层,是为了将数据仓库系统与实时业务系统隔离开。在一些事业单位(朝九晚五从不加班办业务的单位,大家懂的)或类似的项目中,因为下班以后不再产生新的业务。因此数据仓库能够採取简单的形式,如oracle的dblink。在下班以后直接将数据抽取过来。

但像银行,通信这一类的企业。都是24时有业务处理的。直接去大批量地查询核心业务系统的数据,不仅会影响对方的处理效率,同一时候也不能保证数据的准确,这里所说的数据准确,是因为业务系统一直在处理业务,我们不能准确的获取当天24小时内的数据。ods(Operational Data Store)的功能也就体现出来了。当然,这仅仅是ods的一部分功能了

  dw层:轻度汇总层,依照主题汇总,保留历史数据。

在ods数据载入完毕后,dw层開始调度任务。只是,这个项目中的dw层就稍稍有点慘不忍睹了,主题是划分了,但仅仅是依照核心业务系统的表数据内容,大概的分了个类,与ods的表结构基本一样。仅仅是名字都换了。并非数据仓库中真正意义上的划分主题。

当然了,存在即有道理,这个dw层以拉链和当期快照还有全量的形式保存了历史数据。

  调度:有数据仓库就要有相关调度,这个项目中採用的是我国某中字开头公司的调度产品,这个产品,一个字烂。两个字恶心。三个字我艹了,但人家毕竟是产品!

由java来做应用界面。底层功能由shell来实现,详细的分析会在后面的文章中进行刨析。由于我立即就要优化这玩意了。

  讲完背景,下一篇将说明要做的工作。

  

版权声明:本文博主原创文章,博客,未经同意不得转载。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值