数仓（一）数据分层

最新推荐文章于 2025-01-13 14:37:29 发布

666呀

最新推荐文章于 2025-01-13 14:37:29 发布

阅读量4.3k

点赞数 4

分类专栏：数仓文章标签：数据仓库数据挖掘 big data

本文链接：https://blog.youkuaiyun.com/Suubyy/article/details/122059558

版权

3 篇文章

订阅专栏

数据分层

数据分层在建设数据仓库中是一个十分重要的环节，良好的数据分层能够使得数据仓库更容易理解和使用，提升数据处理速度，并且能够降低存储压力和企业成本。在数据仓库建设中，数据分层主要分为数据运营层、数据仓库层、数据应用层。
在这里插入图片描述

数据分层的好处：

数据运营层ODS(Operation Data Store) -也就是最接近数据源的一层，直接对接的数据源（如：业务库、埋点日志、消息队列等）。ODS数数仓的最底层。

该层是存储数量最大的、未经过太多处理的、最原数据始的一层。该层还起到一个数据备份的作用，比如特殊的行业，一般ODS层需要存储一年甚至多年，不过普通公司一般存储三个月到六个月。

一般情况下，在数据进入ODS层的时候，都会对数据做一些最基本的处理。例如：

注意：一般公司也会把以上的基本处理放到DWM层来进行。

DWD(Data WareHouse Detail) -数据细节层。该层与ODS层保持相同的数据颗粒度，区别在于，改成主要是对ODS层进行数据的清洗和规范化操作，比如说去除空数据、脏数据等。该层由于对数据处理的粒度比较细，一般情况下都是编写代码实现的。很多时候存储的是事实表、维度表和实体表。
DWM(Data WareHouse Middle) -数据中间层。该层主要是对DWD层做一些轻微的聚合操作，生成一些指标列的聚合结果表。
DWS(Data WareHouse Service) -数据服务层。该层是在DWM层基础之上，整合汇总成一个主题域的数据服务层，一般是宽表（具有多个列的表），该层为后续的业务查询、OLAP分析和数据分发提供支撑。

数据应用层ADS(Application Data Service) -该层主要为数据产品和数据分析提供数据支撑。一般会存放在ES、MySQL、Redis等数据库系统中，为应用系统提供数据，也可以存放在hive或者Druid中，供数据分析与数据挖掘使用，比如数据报表就是存在该层中。

事实表是指存储有事实记录的表，比如系统日志、销售记录等。事实表的记录在不断地增长，比如电商的商品订单表，就是类似的情况，所以事实表的体积通常是远大于其他表。

维度表（Dimension Table）或维表，有时也称查找表（Lookup Table），是与事实表相对应的一种表；它保存了维度的属性值，可以跟事实表做关联，相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。维度表主要是包含两个部分：

常见的维度表有：日期表（存储与日期对应的周、月、季度等的属性）、地点表（包含国家、省／州、城市等属性）等。
在这里插入图片描述

模型层次	表命名规范	实例表明	实例表说明
ods	ods_业态简称+系统入仓序号_源表名_加工频率+抽取方式	ods_sg01_bill_df	ods为模型层次、sg为业态、01为业态下的系统入仓序号、bill代表数据源表名、d代表加工频率、f代表全量抽取方式
dwd	dwd_主题域_可选的主题_事实表相关描述_加工频率+抽取方式	dwd_par_trader_detail_df	dwd为模型层次、par为主题域名、trader为商户主题名、detail为表描述、d代表加工频率、f代表全量抽取方式
dwm	dim_通用维度相关描述_加工频率+抽取方式	dwm_brand_df	dwm为模型层次、brand为通用维度表描述、d代表加工频率、f代表全量抽取方式
dws	dws_主题域_可选的主题相关描述_聚合粒度+抽取方式	dws_par_trader_count_df	dws为模型层次、par为主题域名、trader为商户主题名、count为表的描述、d代表加工聚合粒度、f代表全量抽取方式
ads	ads_主题域_相关描述_加工频率+抽取方式	ads_trader_count_df	ads为模型层次、trader_count代表相关描述、d代表加工频率、f代表全量抽取方式