学习随记1——数据仓库零散

标准数仓的分层

ODS——历史存储层（复制层）

PDW——数据仓库层（原子层）

MID——数据集市层

APP——应用层

数仓标准上可以分成4层。但这种划分和命名不是唯一的，一般数仓都是四层，但不同公司有不同的叫法，比如临时层也叫复制层，而京东叫BDM，阿里巴巴叫数据准备层。有些系统里也会在ODS层前加一层SD层（源数据层），来指代数据的来源，SD层存储的数据一般具有多来源、多类型特征，可能使用多种数据库，甚至是非结构化数据，是数据仓库中数据最复杂的一层，需要工程师对多种数据库多种数据类型都有一定了解。

尽管叫法不同，但功能大致上都是一样的。实际操作时会根据具体的项目的不同对其进行改造。

为什么要对数据仓库分层？

用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量亢余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。

通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作的拆分成了多个简单的工作，把一个大黑盒变成了一个个小白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。

数仓应该是目前大数据平台的一个最重要的主流应用，目前的大数据平台不管是从哪个角度来说，都离不开HIVE，我一直在搭建平台，所以对这个感触很深，目前较为主流的批处理体系还是hadoop，流处理还是spark，而搭建平台时，hadoop这里更多的还是侧重于HIVE方面的使用。

 

参考自https://www.cnblogs.com/ddwarehouse/p/9385283.html

参考自https://blog.youkuaiyun.com/a_hui_tai_lang/article/details/81319846