数据集市建设篇

本文探讨了数据集市的建设,包括数据框架搭建的贴源层、汇总层,强调了集市建设的重要性。贴源层是从系统抽取并清洗的数据,汇总层则对基础数据进行加工,形成核心数据处理区。此外,还提到了业务粒度和多产品融合汇总的考虑,以及应用层与统计层数据使用规则的注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 前言

本文主要讲述了集市构建方面的内容,后续讲继续总结关于数据需求整理,数据开发,数据测试,常见易错问题等方面的内容。

2. 数据框架搭建

2.1 集市建设

建设方案:集市建设=集市数据建设+集市应用建设
数据建设:以数据库为依托,从基础明细数据开始,汇总为统计数据,再做成应用数据,最后将应用数据加载到应用软件中,为应用展示提供数据来源。

在这里插入图片描述

2.2 贴源层

贴源层是直接从系统界面抽取过来做了清洗后的结果。我们一般会称作贴源层。打个比方,你在银行存了一笔钱,对应产生的一条数据,就会通过后台清洗后将其录入到数据库,在对应的基础数据区里就可以看到对应一条明细数据。

2.3 汇总层

汇总层是对基础数据做的简易加工,比如会计数,求和,做些标签,指标等。而这个区是较为核心的数据处理区。会形成整个集市的构建核心,涉及到这个集市的数据表要如何建设的问题。在此我给出两种方案:1、按照交易、状态、标签指标对数据表进行分类,从而形成各种数据表。2、按照产品来,针对某一产品进行建设,形成对应的数据表。
当然,这个里面还会涉及业务粒度,客户粒度等不同粒度的数据,
另外

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值