离线仓库ODS-DWD-DWS-ADS

最新推荐文章于 2025-11-09 01:22:11 发布
原创 最新推荐文章于 2025-11-09 01:22:11 发布 · 1.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

目录

一、操作数据存储层（ODS）

二、数据仓库明细层（DWD）

三、数据仓库汇总层（DWS）

四、应用数据层（ADS）


是现代企业中用于管理和分析大数据的重要基础设施。数据仓库的分层设计是实现高效、低成本、高可扩展性的关键。在数据仓库的架构中，通常可以分为四层，即操作数据存储层（ODS）、数据仓库明细层（DWD）、数据仓库汇总层（DWS）和应用数据层（ADS）。下面将逐一介绍各层的设计理念和作用。

一、操作数据存储层（ODS）

操作数据存储层（ODS）是数据仓库的最底层，也称为细节层或原始层。这一层的主要职责是将基础数据同步、存储。一般来说，ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说，ODS层的数据粒度是细的。ODS层的表通常包括两类，一个用于存储当前需要加载的数据，一个用于存储处理完后的历史数据。

二、数据仓库明细层（DWD）

数据仓库明细层（DWD）是数据仓库的第二层，也称为基础层或整合层。这一层的主要职责是对ODS层的数据进行清洗、整合和转换，以确保数据的准确性和一致性。DWD层会对数据进行必要的规范化处理，解决数据的重复、缺失、异常等问题，同时对数据进行标准化和统一化处理，使得不同来源的数据能够统一到一个标准下。

三、数据仓库汇总层（DWS）

数据仓库汇总层（DWS）是数据仓库的第三层，也称为汇总层或中间层。这一层的主要职责是对DWD层的数据进行汇总和整理，以支持上一层的数据分析需求。DWS层会对数据进行聚合、分组、计算等操作，生成满足分析需求的汇总数据。这一层的表通常包括各类汇总表、临时表和物化视图等。

四、应用数据层（ADS）

应用数据层（ADS）是数据仓库的最顶层，也称为应用层或展示层。这一层的主要职责是提供满足各类业务分析需求的数据视图，支持企业的决策支持系统（DSS）和商业智能（BI）等应用。ADS层的表通常包括各类报表、查询、仪表盘等。

在数据仓库的分层设计中，各层之间有着明显的界限和分工，下层为上层提供数据服务，上层依赖于下层的支撑。这种分层设计可以降低系统的复杂度，提高系统的可维护性和可扩展性。同时，通过合理的分层设计，可以实现对数据的精细化管理和控制，提高数据的准确性和一致性，从而更好地支持企业的决策分析和业务发展。

在实际应用中，需要根据企业的业务需求和数据特点来设计各层的结构和功能。同时，还需要考虑系统的性能、可扩展性、可维护性和安全性等方面的因素。通过对数据仓库的分层设计，可以更好地整合和管理大数据资源，为企业的数字化转型和业务发展提供强有力的支撑。

旺仔小头
关注
数仓分层设计架构 详解-ODS-DWD-DWS-ADS
JanLEE
07-10 5595
一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。分层意义1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单来讲可以这样理解
数仓(三)：分层设计 ODS-DWD-DWS-ADS
热门推荐
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
数据仓库架构设计：ODS、DWD、DWS、ADS 解析
晴天彩虹雨的博客
03-05 2930
DWD 层是数据仓库中承接 ODS 层的关键层次，负责对来自 ODS 层的数据进行清洗、转换、规范化等处理，形成更加结构化和高质量的详细数据。ADS 层是数据仓库的最后一个层次，它将来自 DWS 层和其他层的数据存储和组织成适合应用程序和具体业务场景的数据格式。例如，DWD 层可能存储了关于客户、产品、销售等多个维度的数据，支持根据这些维度进行详细分析，帮助企业更好地理解业务运营状况，为后续的业务优化提供数据支持。汇总数据：DWS 层的数据通常是经过聚合的，减少了数据的复杂度，便于高效查询。
数据仓库之DWD层
jianghuaijie的博客
01-02 8338
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后，进行大概的梳理，再与业务方沟通整个业务过程的流转过程，对业务的整个生命周期进行分析，明确关键的业务步骤，在能满足业务需求的前提下，尽可能设计出更通用的模型。 业务方有时只仅仅只是考虑了当下的情况。例如业务想要一个审核通过人员的明细数据，我们设计了一个全量的审核明细表，过了几天，业务
数据仓库和数据集市之ODS、CDM、ADS、DWD、DWS
最新发布
FeelTouch Labs
11-09 1267
数据仓库分层架构解析 本文系统介绍了数据仓库的分层架构设计，主要包括： 基础数据层（ODS）：最接近数据源的层级，进行ETL处理后保留原始数据特征，负责数据清洗、去重等预处理工作 数据仓库层（DW）： DWD（明细层）：保持与ODS相同粒度，进行数据质量处理 DWM（中间层）：轻度汇总，提高指标复用性 DWS（服务层）：主题宽表，支持业务查询和分析 应用层（APP）：面向业务应用的最终数据产品 维表层（DIM）：包含高低基数维度数据 分层设计通过"空间换时间"提升效率，实现数据解耦、口径
数据仓库的DWD层-详解与最佳实践
一个8年大数据开发工程师的碎碎念
07-29 4149
DWD层,全称Data Warehouse Detail,是数据仓库分层架构中的细节层。它位于ODS(Operational Data Store)层之上,DWS(Data Warehouse Service)层之下,是连接原始数据和汇总数据的重要桥梁。
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 5786
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
大数据之数据仓库的分层：ODS/DWD/DWS/ADS
记录并分享
09-05 4851
ETL层（Extract-Transform-Load）：数据清洗层，存原始数据；ODS层（Operational Data Store）：操作数据源层；CDM层（Common Dimensional Model）：公共维度模型层，主要包括DWD层（Data Warehouse Detail 数据明细层） 和 DWS层（Data Warehouse Summary 数据汇总层）两部分；ADS层（Application Data Service）：数据应用层。
从ODS-DWD-DWS-ADS详解数仓分层设计架构
oOBubbleX的博客
06-24 1632
本文从ODS-DWD-DWS-ADS详解数仓分层设计架构，希望对您有所帮助。
数据仓库 ODS-＞DWD-＞DWS-＞ADS
desmond的专栏
08-17 1070
Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
weixin_54673909的博客
06-25 1960
数据仓库层(DW)层：数据仓库层是我们在做数据仓库时要核心设计的一层，本层将从 ODS 层中获得的数据按照主题建立各种数据模型，每一个主题对应一个宏观的分析领域，数据仓库层排除对决策无用的数据，提供特定主题的简明视图。以宽表化手段物理化模型，构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表。维度层（DIM，Dimension）：以维度作为建模驱动，基于每个维度的业务含义，通过添加维度属性、关联维度等定义计算逻辑，完成属性定义的过程并建立一致的数据分析维表。
数据仓库ODS、DWD、DWS、ADS各层介绍
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
04-22 7126
1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
a934079371的博客
11-28 4366
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群一、数据流向二、应用示例三、何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-...
数仓1.2 |分层| ODS& DWD& DWS& ADS| 行为数仓
mojolang
01-28 1250
数仓分层 ODS：Operation Data Store 原始数据java DWD(数据清洗/DWI)data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 具体表sql DWS(宽表-用户行为，轻度聚合)data warehouse service ----->有多少个宽表？多少个字段 服务层--留存-转化-GMV-复购率-日活 点赞、评论、收藏; 轻度聚合对DWD数据库 ADS(APP/DAL/DF)-出报表结果Application...
数仓建模（六）从ODS到DWD、DWS、ADS
引用原创内容标明出处即可
01-15 4225
在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
weixin_45532984的博客
05-12 1万+
一. 数仓及其维度 1. 什么是数仓？ 数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。 数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。 2. 数仓的特点 （1）集成性 数仓中存储的数据来源于多个数据源，原始数据在不同数据源中的存储方式.........
数仓分层ods,dwd,dws,ads详细介绍
weixin_42497376的博客
09-26 4074
DWD（Data Warehouse Detail）数据仓库明细层：DWD层是数据处理的核心层，其主要任务是将ODS层中的数据进行清洗、加工、集成、聚合等操作，构建出符合业务需求的数据模型。数据仓库分层是数据仓库建设的一个重要概念，主要是基于数据处理和管理的需求，将数据仓库划分为不同的层级，在每个层级中进行不同的数据处理和管理活动。数据仓库的分层架构是建设一个高效、灵活、可扩展的数据仓库的必要手段，通过合理的分层，可以提高数据仓库的管理和维护效率，提高数据的处理速度和质量，同时保证数据的安全性和可靠性。
数据仓库分层架构详解：ODS、DWD、DWS、ADS层及其实现工具
lingding_cn的专栏
04-29 2295
数据仓库（Data Warehouse，DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。与传统的业务数据库不同，数据仓库主要用于数据分析和决策支持，而非日常事务处理。为了更好地组织和管理数据，现代数据仓库通常采用分层架构，常见的分层包括ODS、DWD、DWS和ADS四层。这种分层设计既可以提高数据处理效率，又能保证数据质量和一致性。
离线数仓ods dwd dws ads 每一层的作用
06-13
### 离线数据仓库 ODS、DWD、DWS、ADS 各层的作用及区别 #### ### 1. 操作数据存储层（ODS） ODS层是数据仓库的第一层，主要负责将业务系统的原始数据进行清洗和初步转换后存储。这一层的数据通常保留了完整的业务细节，便于后续的分析和审计[^1]。 - **作用**： - 数据存储：存储从源系统抽取的原始或轻微清洗后的数据。 - 数据集成：将来自不同业务系统的数据统一集成。 - 历史数据保存：保存全部的历史数据以支持时间维度分析。 - 格式标准化：对原始数据进行一定程度的格式标准化处理。 - 支持增量加载：通过增量机制降低数据传输成本和存储开销。 - **特点**： - 数据接近原始状态，但经过初步清洗。 - 数据量较大，包含全量历史数据。 - 主要用于数据的初始存储和简单加工。 ```sql -- 示例：创建一个典型的ODS层表 DROP TABLE IF EXISTS `ods_user_behavior_inc`; CREATE EXTERNAL TABLE IF NOT EXISTS `ods_user_behavior_inc` ( `user_id` STRING COMMENT '用户ID', `event_time` TIMESTAMP COMMENT '事件发生时间', `event_type` STRING COMMENT '事件类型', `device_id` STRING COMMENT '设备ID' ) COMMENT '用户行为增量表' PARTITIONED BY (`dt` STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' NULL DEFINED AS '' LOCATION '/warehouse/user/ods/ods_user_behavior_inc/' TBLPROPERTIES ('compression.codec' = 'org.apache.hadoop.io.compress.GzipCodec'); ``` --- #### ### 2. 数据仓库明细层（DWD） DWD层是对ODS层数据的进一步加工，形成符合业务需求的明细数据。这一层的数据已经过清洗、去重和标准化处理，更加规范和统一[^2]。 - **作用**： - 数据清洗：去除脏数据，解决数据质量问题。 - 数据整合：将分散在ODS层的多张表整合为一张宽表。 - 数据标准化：确保字段命名和数据格式的一致性。 - 时间维度处理：增加时间戳或分区字段以支持时间维度分析。 - **特点**： - 数据质量较高，适合直接用于分析。 - 数据结构化程度高，便于后续汇总和建模。 - 数据量较ODS层有所减少，但仍保持明细粒度。 ```sql -- 示例：从ODS层生成DWD层表 INSERT OVERWRITE TABLE dwd_user_behavior_inc PARTITION (dt='2023-10-01') SELECT user_id, event_time, event_type, device_id FROM ods_user_behavior_inc WHERE dt = '2023-10-01'; ``` --- #### ### 3. 数据仓库汇总层（DWS） DWS层基于DWD层的数据进行汇总和聚合，形成面向特定业务主题的汇总数据。这一层的数据通常以宽表形式存在，便于快速查询和分析[^1]。 - **作用**： - 数据汇总：按照业务需求对明细数据进行聚合操作。 - 业务主题划分：根据不同业务主题生成相应的汇总表。 - 性能优化：通过预计算减少实时查询的压力。 - 时间维度支持：提供按日、周、月等时间维度的汇总数据。 - **特点**： - 数据粒度较粗，适合高层分析。 - 数据量较DWD层显著减少。 - 查询效率高，适合即席查询和报表生成。 ```sql -- 示例：从DWD层生成DWS层表 INSERT OVERWRITE TABLE dws_user_behavior_summary PARTITION (dt='2023-10-01') SELECT user_id, COUNT(*) AS total_events, SUM(CASE WHEN event_type = 'click' THEN 1 ELSE 0 END) AS click_count, SUM(CASE WHEN event_type = 'purchase' THEN 1 ELSE 0 END) AS purchase_count FROM dwd_user_behavior_inc WHERE dt = '2023-10-01' GROUP BY user_id; ``` --- #### ### 4. 应用数据层（ADS） ADS层是数据仓库的最后一层，主要用于满足具体业务场景的分析需求。这一层的数据通常以报表或指标的形式呈现，直接服务于业务决策[^2]。 - **作用**： - 数据服务：为前端应用提供数据支持。 - 指标计算：根据业务需求生成关键绩效指标（KPI）。 - 实时性支持：部分场景下支持准实时或实时数据分析。 - 用户友好：数据格式和内容更贴近最终用户的需求。 - **特点**： - 数据粒度最粗，通常是高度汇总的结果。 - 数据量最小，查询效率最高。 - 面向具体业务场景，具有很强的针对性。 ```sql -- 示例：从DWS层生成ADS层表 INSERT OVERWRITE TABLE ads_user_behavior_summary PARTITION (dt='2023-10-01') SELECT SUM(total_events) AS total_events, SUM(click_count) AS total_clicks, SUM(purchase_count) AS total_purchases FROM dws_user_behavior_summary WHERE dt = '2023-10-01'; ``` --- ### 各层的区别总结 | 层级 | 数据来源 | 数据粒度 | 数据质量 | 数据用途 | |--------|----------------|--------------|------------|------------------------------------| | ODS | 源系统 | 明细 | 初步清洗 | 数据存储和初步加工 | | DWD | ODS | 明细 | 高 | 提供高质量的明细数据 | | DWS | DWD | 汇总 | 高 | 面向业务主题的汇总数据 | | ADS | DWS | 高度汇总 | 最高 | 直接服务于业务决策和报表生成 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值