数仓:银行业数仓的分层架构实践

本文探讨了银行业数据仓库的分层架构,强调了为何要进行数据仓库分层,包括ODM(贴源层)、SDM(标准层)、FDM(金融主题层)和ADM(应用层)的作用。分层架构有助于清晰数据结构、追踪数据血缘、减少重复开发、理清数据关系并屏蔽原始数据影响。重点介绍了ODM的建设,包括源数据抽取和入库的挑战及解决策略,以及SDM的数据清洗、标准化和全量数据合并。FDM作为关键层,简化数据关系并实现复用。ADM则提供针对特定业务场景的高度汇总数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一、Why?为什么要对数据仓库进行分层

自从大数据平台hadoop及其技术火起来之后,无论是政企、民企还是各类金融机构,都掀起了一股大数据技术转型、数据仓库重构、智能数据分析、AI 等一系列黑科技且高大上的热潮。其实,是否转型大数据技术以后,产品营销、风险管控、数据分析、管理决策等企业核心诉求都可以应有尽有呢?企业的数据管理核心——数据仓库又应该以何种形态来建设?要回答上述问题,必须要从理解数据仓库的本质与架构开始。

数据仓库,由数据仓库之父 Bill Inmon 在 1991 年出版的“Building the Data Warehouse”定义且被广泛接受的——面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从定义上来看,数据仓库的关键词为面向主题、集成、稳定、反映历史变化、支持管理决策,而这些关键词的实现就体现在分层架构内。

实现好分层架构,有以下好处:

  • 1)清晰数据结构:每一个数据分层都有对应的作用域,在使用数据的时候能更方便的定位和理解。
  • 2)数据血缘追踪:提供给业务人员或下游系统的数据服务时都是目标数据,目标数据的数据来源一般都来自于多张表数据。若出现目标数据异常时,清晰的血缘关系可以快速定位问题所在。而且,血缘管理也是元数据管理重要的一部分。
  • 3
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Freedom3568

技术域不存在英雄主义,不进则退

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值