1. 前言
本文主要讲述了集市构建方面的内容,后续讲继续总结关于数据需求整理,数据开发,数据测试,常见易错问题等方面的内容。
2. 数据框架搭建
2.1 集市建设
建设方案:集市建设=集市数据建设+集市应用建设
数据建设:以数据库为依托,从基础明细数据开始,汇总为统计数据,再做成应用数据,最后将应用数据加载到应用软件中,为应用展示提供数据来源。
2.2 贴源层
贴源层是直接从系统界面抽取过来做了清洗后的结果。我们一般会称作贴源层。打个比方,你在银行存了一笔钱,对应产生的一条数据,就会通过后台清洗后将其录入到数据库,在对应的基础数据区里就可以看到对应一条明细数据。
2.3 汇总层
汇总层是对基础数据做的简易加工,比如会计数,求和,做些标签,指标等。而这个区是较为核心的数据处理区。会形成整个集市的构建核心,涉及到这个集市的数据表要如何建设的问题。在此我给出两种方案:1、按照交易、状态、标签指标对数据表进行分类,从而形成各种数据表。2、按照产品来,针对某一产品进行建设,形成对应的数据表。
当然,这个里面还会涉及业务粒度,客户粒度等不同粒度的数据,
另外