数据仓库的分层设计

最新推荐文章于 2025-09-05 09:56:21 发布
原创 最新推荐文章于 2025-09-05 09:56:21 发布 · 497 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库 #大数据 #数据分析 #数据挖掘 #数据建模

本文详细阐述了数据仓库分层的重要性和具体层级，包括ODS、DWD、DWS和ADS层，解释了各层的功能及如何提升数据处理效率。

一、数据仓库分层的意义

1、明确数据结构
数据仓库分层后，每层完成特定的功能，易于开发管理，如果使用过程中有表数据出错，也便于定位

2、减少重复开发
规范数据分层，创建可复用的中间层数据，能够减少重复计算，提高效率

3、屏蔽原始数据
将统计数据与业务系统数据解耦，避免受业务系统变更的影响

二、数据仓库的层级

1、ODS(operation data store) 原始数据层
ODS层是贴近数据源的一层，一般是将原始数据直接载入，不进行数据清洗操作。
数据来源包括用户行为数据，如点击、浏览、分享等埋点日志数据，通常使用flume进行采集；也包含业务系统数据，如公司的交易数据，使用sqoop导入

2、DWD(data warehouse detail) 明细数据层
结构和粒度与原始表保持一致，对ODS层数据进行清洗，包括去除空值、脏数据、去除重复数据、异常值处理，也可以做局部聚合，将相同主题的数据汇总到同一张表中

3、DWS(data warehouse service) 服务数据层
该层主要加工生成宽表、中间表和维度表。
中间表：在DWD层的基础上对数据进行轻度聚合，根据不同主题或维度生成一系列中间表，以提升数据的复用性，减少重复加工
宽表：通常根据某一个维度，将不同主题的中间表拼接成一张宽表
维表：一种是商品信息、用户资料表等信息表，另一种是枚举值、编码与名称映射等配置表

4、ADS(application data store) 数据应用层
该层主要是根据具体需求指标，从DWS层中加工出结果表，可存储在Hive、ES、Redis中供数据分析和挖掘使用，也可以导出到Mysql、PostgreSql中作可视化展示使用

数据仓库：分层设计详解
GIS摆渡人
06-24 852
文章有点长，强烈建议先收藏后阅读，因为我担心你不一定一次性能学习完。只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单
数据仓库【分层设计】
xiayuhaisong的博客
03-01 7257
数据仓库，通过数仓建模更好的组织管理和存储数据，以便在性能、成本、效率和质量之间取得最好的平衡。
数据仓库分层设计
a_hui_tai_lang的博客
07-31 8911
文章参考http://ierda.blog.163.com/blog/static/77469587201326105956470/，https://blog.youkuaiyun.com/kwu_ganymede/article/details/51367422 为什么要对数据仓库分层： a)用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据； b)如果不...
数据仓库内容分享(九)：数仓分层设计
之乎者也·的博客
01-28 1420
在源数据装入这一层时，要进行诸如去噪（例如有一条数据中人的年龄是 300 岁，这种属于异常数据，就需要提前做一些处理）、去重(例如在个人资料表中，同一 ID 却有两条重复数据，在接入的时候需要做一步去重)、字段命名规范等一系列操作。这层的数据是后续数据仓库加工数据的来源。DWS 数据服务层 Data Warehouse Service，DWS(宽表-用户行为，轻度聚合)该层是基于DWM上的基础数据，整合汇总成分析某一个主题域的数据服务层，一般是宽表，用于提供后续的业务查询，OLAP分析，数据分发等。
数据仓库分层设计：ODS/DWD/DWS/ADS总结
DataLaneYoker
09-05 1356
数据分层架构设计是数据仓库建设的核心环节，采用ODS（原始数据层）、DWD（明细数据层）、DWS（汇总数据层）和ADS（应用数据层）四层结构。各层职责明确：ODS保留源系统原始数据，仅做技术处理；DWD进行业务清洗和维度退化；DWS按主题聚合通用指标；ADS面向具体应用场景。关键原则包括严格单向数据流动、指标口径一致性和分层边界把控，避免过度分层和层间耦合。随着技术发展，分层架构正与DataMesh、实时计算等新范式融合，需要在标准化与灵活性间保持平衡。良好的分层设计应像城市规划，功能区划分清晰且具备扩展弹
分层设计数据仓库的架构和设计高效数据库系统的方法
weixin_30777913的博客
04-25 1545
高性能数据仓库的核心在于。
数据仓库数据分层结构
03-02
数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
关于数据仓库分层设计
kuangfeng88588的博客
07-01 992
前言： 不是做数仓的，但是也需要了解数仓的知识。 其实分层好多因人而异，问了同事好多分层的区别也不是很清晰。 所以后续有机会还是跟数仓的同事碰一下吧~ 一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净
数据仓库分层
sunbin11220904的博客
09-03 408
数据仓库分层 1、分层结构 数仓传统上分层基本都是三层，源数据层（ODS 层）、数据仓库层（DW 层）、 数据集市层（DM 层）。而我们这个项目中将数据仓库层进而划分了两个层数据明 细层（DWD 层）和数据服务层（DWS 层）。即该项目中一共划分为 4 层 ODS 层、 DWD 层、DWS 层、DM 层 我们采用维度建模，考虑到三范式同时为了方便逻辑计算，可以打破三范式 限制。 源数据信息在 ODS 层，事实表和维度表存储在 DWD 层、轻量聚合的结果表存 储在 DWS 层，高度聚合的结果表（即我们的需求）
数据仓库各层级的设计
Davina_yu的博客
12-06 1648
数据仓库的设计是一个多层次的过程，每个层级都有其独特的角色和责任。通过精心规划和实施各个层级的功能，可以构建出一个高效、可靠且易于使用的数据仓库系统。随着技术的发展，越来越多的工具和技术（如云计算、大数据平台）也为数据仓库的设计提供了更多创新性的解决方案。
【数据仓库】数据仓库层次化设计
铁盒薄荷糖的博客
09-18 2638
数据仓库(Data Warehouse)，是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。DW保持着所有的从ODS到来的数据，并长期保存，而且这些数据不会被修改。DW中的数据实际存储在分布式文件系统中（如HDFS）。如果想要删除数据，一般会在分布式文件系统中进行操作。而由于效率问题，数据仓库一般只读取数据，不直接对数据进行修改。（1）面向主题(Subject Oriented)操作型数据库的数据组织面向事务处理任务。
数仓分层设计
chimchim66的博客
07-04 1198
数仓分层设计
数据仓库分层设计，零基础一看就会
qq_64495672的博客
04-23 2826
理解数仓分层中的分层设计 实施 什么是分层？ 决定数据在数据仓库中处理的流程 数据从进入到被应用，总共经过哪些步骤 在Hive中每一层就是一个数据库，每一层的表放在对应的数据库中 为什么要做分层？ 数仓不做分层 数仓做了分层 分层的优点 清晰数据结构：每一个数据分层都有它的作用域，这....
数据仓库建模和分层
热门推荐
m0_57697768的博客
01-05 1万+
数据仓库的分层，建模理论的选择，事实表的分类，维度表的分类，数据仓库的构建
数据仓库分层设计理念与实现
最新发布
09-10
<think> 我们正在讨论数据仓库的分层设计理念与实现方法。根据提供的引用，数据仓库分层设计主要是为了提升可维护性、组织性和效率。分层设计允许问题在特定层解决，无需影响其他层，同时在性能、成本、效率和数据质量之间取得平衡。 分层架构通常包括以下几个核心层次（参考引用[2]和[3]）： - ODS（Operational Data Store）：操作数据存储层，存放原始数据，接近源系统。 - DW（Data Warehouse）：数据仓库层，通常细分为： - DWD（Data Warehouse Detail）：明细数据层，存储清洗、转换后的明细数据。 - DWS（Data Warehouse Service）：汇总数据层，存储基于明细层汇总的数据。 - DM（Data Mart）或 ADS（Application Data Service）：应用数据层，面向特定应用或报表的数据。 - 有时还包括维表层（DIM），如引用[4]所述，存储维度数据（高基数如用户/商品表，低基数如配置表）。 设计理念： 1. **解耦与可维护性**：各层职责单一，修改一层不影响其他层[^1]。 2. **数据一致性**：通过分层处理，确保数据从原始到汇总的转换一致。 3. **效率优化**：明细层存储细粒度数据，汇总层预聚合提升查询性能。 4. **数据质量**：在DWD层进行数据清洗，保证上层数据可靠。 实现方法（以电商订单主题为例，参考引用[3]）： 1. **ODS层**：直接同步源系统的订单表，保留历史变更（如每日全量/增量同步）。 2. **DWD层**： - 清洗：去除无效订单（如金额为负的订单）。 - 转换：将订单状态码转换为可读状态（如1→"已支付"）。 - 维度退化：将常用维度（如商品名称、用户姓名）冗余到订单表，减少关联查询。 - 分区：按日期分区存储。 3. **DWS层**： - 按维度汇总：如每日各商家的订单总数、总金额。 - 宽表构建：创建用户订单行为宽表（包含用户信息、订单次数、总金额等）。 4. **ADS层**： - 面向报表：如生成“每日核心交易看板”数据，直接供给前端报表工具。 5. **维表层（DIM）**： - 高基数维度：独立存储用户、商品等维度表，使用代理键。 - 低基数维度：存储枚举值映射表（如订单状态字典表）。 分层设计的依据（引用[2]）： - 业务复杂度：简单业务可采用三层（ODS-DW-DM），复杂业务需细化分层。 - 数据量：大数据量场景需增加中间层（如DWD→DWS）预计算。 - 团队协作：分层明确后，不同团队可并行开发（如ETL团队负责DWD，数据分析团队负责ADS）。 注意事项： - 避免过度分层：每增加一层意味着ETL复杂度和存储成本上升。 - 数据血缘追踪：记录各层数据的来源和转换过程，便于问题排查。 - 一致性维度：确保跨层的维度定义统一（如使用一致的维度表）。 §§相关问题§§ 1. 如何设计数据仓库的数据质量监控体系？ 2. 在分层架构中，如何处理缓慢变化维（SCD）？ 3. 数据仓库分层设计与数据中台架构有何异同？ 4. 如何优化数仓分层模型以提升查询性能？ </think> ### 数据仓库分层设计理念与实现方法 #### 一、核心设计理念 1. **解耦与可维护性** 分层设计确保问题在特定层解决，避免影响下层逻辑（如DWD层清洗异常数据无需修改ODS层）[^1]。 2. **性能与成本平衡** 通过分层预聚合（如DWS层汇总数据）减少重复计算，提升查询效率，降低计算成本[^1]。 3. **数据质量保障** 标准化处理流程： - ODS层保留原始数据（审计回溯） - DWD层完成数据清洗（去重/异常值处理） - DWS层保证指标一致性[^3] 4. **主题域划分** 以业务场景（如电商订单、用户行为）为单位组织数据流，避免跨主题耦合[^3]。 --- #### 二、典型分层架构（五层模型） | **层级** | **名称** | **核心职责** | **数据特征** | |----------|---------------------------|-----------------------------------------------------------------------------|----------------------------------| | ODS | 操作数据存储层 | 源系统数据镜像，保留历史变更记录 | 原始数据，分区存储 | | DWD | 明细数据层 | 数据清洗（去空值/标准化）、维度退化、事实表拆分 | 明细数据，业务过程原子粒度 | | DWS | 汇总数据层 | 按主题预聚合（如用户月消费总额），构建宽表 | 轻度汇总，维度+指标组合 | | ADS | 应用数据层 | 面向报表/API的指标加工（如DAU、GMV），支持实时查询 | 高度聚合，业务可直接使用 | | DIM | 维表层 | 管理高基数维度（用户资料）、低基数维度（枚举配置）[^4] | 缓慢变化，代理键机制管理 | > 🔍 **示例：电商订单主题分层实现** > - **ODS**: `ods_order`（原始订单表，含未支付订单） > - **DWD**: > ```sql > CREATE TABLE dwd_order AS > SELECT order_id, user_id, cleaned_amount, -- 清洗金额异常值 > FROM_UNIXTIME(pay_time) AS pay_time -- 时间格式标准化 > FROM ods_order > WHERE status = 'paid'; -- 过滤无效订单[^3] > ``` > - **DWS**: `dws_user_monthly`（用户维度+月汇总指标） > - **ADS**: `ads_daily_gmv`（每日平台GMV报表） > - **DIM**: `dim_user`（用户属性表），`dim_date`（日期维表） --- #### 三、分层实现关键方法 1. **数据流向控制** $$ \text{ODS} \xrightarrow{\text{清洗}} \text{DWD} \xrightarrow{\text{关联+聚合}} \text{DWS} \xrightarrow{\text{业务加工}} \text{ADS} $$ 各层仅依赖直接下层，禁止跨层引用（如ADS不可直接访问ODS）[^2]。 2. **维度建模实践** - **事实表**：存储过程度量（如订单金额），位于DWD/DWS层 - **维度表**：存储描述属性（如商品类目），位于DIM层 - **退化维度**：常用维度（如商品名称）冗余到事实表减少关联[^3] 3. **分区与存储优化** - ODS/DWD层按时间分区（如`dt=20230101`） - DWS/ADS层按业务维度分区（如`city_id`） - 冷热数据分离：ODS存原始数据（高存储），ADS存聚合结果（低存储） 4. **统一数据血缘** 通过元数据系统追踪字段级血缘： ```mermaid graph LR A[ods_order.amount] --> B[dwd_order.cleaned_amount] B --> C[dws_user_monthly.total_spent] C --> D[ads_daily_gmv] ``` --- #### 四、不同业务场景的分层变体 | **场景** | **分层架构** | **特点** | |----------------|----------------------|------------------------------------------| | 金融风控 | ODS→BDL→FDL→GDL→ADL | 增加基础数据层(BDL)处理敏感数据脱敏 | | 实时数仓 | ODS→DWD→Stream-ADS | 用Kafka替代DWS层，直接写入ADS层实时输出 | | 超大规模数据 | ODS→DWD→DWM→DWS→ADS | 增加中间层(DWM)预聚合减少DWS计算压力 | > **选择依据**： > - 数据量级：PB级需增加中间层 > - 实时性要求：实时场景简化分层 > - 合规需求：金融场景需专用安全层[^2] --- #### 五、实施注意事项 1. **避免过度分层**：小型数仓可采用三层架构（ODS→DWD→ADS） 2. **统一命名规范**：如`{层前缀}_{业务主题}_{粒度}`（`dws_order_daily`） 3. **数据质量校验**：在各层间部署校验规则（如DWD到DWS的指标波动阈值监控）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值