下图是DW系统的一个基本的层次结构.划分了三部分
1> 抽取加载区
2> 整合模型层
3> 应用层
抽取加载区包括源事务系统,临时区与ODS
源事务系统是所有数据的来源.
临时区与ODS组成了贴源区,这两部分的表结构与源系统基本一致,都会有相应的技术字段,但在数据范围上会有所区别,比如说对同一张源表,
临时区可能只会抽取当前一个星期的数据,而ODS则会保留最新全量数据;临时区只会抽取一部分字段,而ODS则会抽取所有字段.
另外ODS在这里的词义区别于某些说法.它在这里只是指一个存储数据的区域,对应到数据库里面,就是一个SCHEMA.而不是一个系统的统称.
整合模型层
这部分整个数据仓库系统(BI系统)的核心与基础部分,企业范围数据上的整合就体现在这里.主要包括基础数据层(也可说是LDM层或是数据仓库层)与轻度汇总层,后续会做进一步展开.
数据模型是构建数据基础层的蓝图,ETL的转换(Transform)就是按照这个蓝图来进行施工.
轻度汇总层是构建在基础数据层之上,对数据进行了一定的归纳,粒度会大些.
应用层
一般是指数据集市层,即基础层与轻度汇总层的下游.这个层次会直接面向用户,最广泛的输出就是报表.
涉及到的技术如:数据的抽取加载,3NF建模或维度建模,生命周期管理,ETL算法等,后续再详细说明.
同一样东西,不同人来看,都会有自己的角度或观点.上述都是个人理解,会有很多谬误的地方,个人观点也可能会随着时间改变,这都是一个积累与总结的过程,仅供参考.