【老贝伏枥】数据仓库为什么要分层

@老贝伏枥】数据仓库为什么要分层

【老贝伏枥】数据仓库为什么要分层

背景

今天有位同事问了一个很原始的问题，数仓为什么要分层？每一层作用是什么？N个为什么，还真把人问懵了，虽然说出了点理由，却显得说服力不足。今天重新把这些理论，捋一捋。

分层的作用

优秀可靠的数仓体系，需要清晰的数据分层结构。即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。结合这些原则及以往的工作经验，我们将分层进行统一定义为四层：

1.结构清晰：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
2.血缘追踪：能够快速准确地定位到问题，并清楚问题的危害范围。
3.减少冗余：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
4.简化复杂问题：将复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。当数据出现问题之后，不用修复所有的数据，只需要从有问题的步骤开始修复。
5.屏蔽原始数据的异常：不必改一次业务就需要重新接入数据。

数仓经典分层

1.ODS称之为贴源层，一般用快照保留来自源系统的历史数据，方便追查历史和归档历史。
2.DW称之为明细层，仅仅依赖ODS数据进行清洗、规范命名、轻度横向或纵向整合、脱敏等，为下游数据分析提供强有力的支撑，保障下游数据一致性和完整性。
3. DM是数据集市，针对通用性的维度或指标，直接面向业务分析主题，构建Kimball多维模型。或者构建以事实业务为主线的主题大宽表，按照业务进行聚焦，降低对业务理解的难度，并能解耦复杂的业务。比如以订单ID为主线，把相关业务属性按业务规则归集到一起，为下游提供快速查询、保障数据一致性和准确性。

效果

数仓分层具备稳定、快速迭代的特点，为企业提供精准数据分析决策。无论是传统行业，还是互联网行业，数仓架构分层都大同小异。互联网和创同行业的数仓唯一的区别是，为应对业务快速迭代而建立的模型有区别。

问题

那DW层应该采取什么方法论建模呢？
那天有个人问我，为什么DW层要用三范式3NF或Data Vault建模？为什么DW层不用多维建模？为什么DM层要采用kimball建模？

-_-||