hive数仓分层

原创已于 2025-12-19 12:19:19 修改 · 505 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库

于 2025-12-19 12:17:11 首次发布

1.hive数仓分层，一般分几个层级，每层的作用是什么

Hive 数仓分层是构建数据仓库的经典方法论，其目的是规范数据流转过程，提升数据复用、易运维性和数据治理能力。通常，Hive 数仓分层主要分为 ODS（操作数据层）、DWD（明细数据层）、DWS（汇总数据层）、ADS（应用数据层），有的企业也会增加 DIM（维度层）、DML（中间层）、DMB（宽表层）等。下面详细说明：

1.1 常见分层及作用

（1）ODS 层（Operational Data Store，原始数据层）

作用：存放从业务系统同步过来的原始数据，通常为业务表的全量或增量快照，最大化还原数据原貌。
特点：与数据源表结构一致，未做复杂处理。
数据来源：来自 OLTP 系统（如 MySQL、Oracle 等），一般通过定时同步（如 Sqoop、DataX）。
用途：为后续数仓层清洗、加工提供数据保障。

（2）DWD 层（Data Warehouse Detail，明细数据层）

作用：对 ODS 数据做清洗、解析、标准化，结构更规范、字段业务语义明确，且仍保留明细级别（不会丢失粒度）。
特点：去重、格式统一、脏数据处理、字段口径规范化。
数据来源：基于 ODS 层数据，经数据清洗加工得到。
用途：作为数仓事实数据分析、统计的底层数据源。

（3）DWS 层（Data Warehouse Summary，汇总数据层）

作用：基于 DWD 层，对明细数据进行多维度聚合、统计，形成中间宽表或多维分析表。
特点：一般是按主题、业务过程、时间粒度做分组汇总（如日报、月报、周报）。
数据来源：通常来源于 DWD 层。
用途：数据服务于 OLAP 分析，支撑 BI、报表等多维分析，解决性能瓶颈。

（4）ADS 层（Application Data Store，应用数据层）

作用：面向具体业务场景和应用需求，进一步加工生成最终报表、指标、接口、标签等。
特点：粒度更粗、结构更简单，直接为业务方或应用系统服务。
数据来源：通常基于 DWS 层，有时也引用维度表、事实宽表。
用途：支撑业务监控、可视化大屏、接口数据输出等。

（5）DIM 维度层和其他

DIM：保存业务分析常用维度，如用户、商品、组织架构等，支持数据宽表和分析。
DMB/DML/TMP：部分企业还定义中间层、宽表层、临时层，作为特殊业务需要。

1.2 典型分层结构（示意图）

        应用数据层（ADS）   // 指标、标签、接口数据
               ↑
        汇总数据层（DWS）   // 各种汇总宽表
               ↑
        明细数据层（DWD）   // 清洗后标准化的明细表
               ↑
        原始数据层（ODS）   // 数据源原始快照
               ↑
         数据源（OLTP等）