剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍

最新推荐文章于 2025-10-08 00:47:35 发布
最新推荐文章于 2025-10-08 00:47:35 发布
阅读量5.2k 收藏 54
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 剑指数据仓库-项目篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067
本文详细介绍了数据仓库的建模过程，包括星型模型、雪花模型和星座模型的讲解，以及ODS层到DWD层的数据转换。讨论了在业务场景中补加updatetime字段的重要性，强调了数据建模在ERP项目架构中的作用，同时阐述了数仓分层流程和ODS到DWD层的具体操作，如MySQL到Hive的表结构转换和数据同步问题。
了解本专栏 订阅专栏 解锁全文
剑指数据仓库-项目篇(四) - DWS层&&ADS层指标计算
SparkOnYarn的博客
04-12 3575
一、项目回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、项目回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067 二、ODS --> DWD层是怎么做的 选择ruozeda...
剑指数据仓库-项目篇(二) - 数仓的各项理论知识&&订单表设计案例
SparkOnYarn的博客
04-10 933
一、上次回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理 三、ERP系统核心-仓库 一、上次回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105388526 简单回顾：基础资料、商品类别（SKU）、供应商、商家+用户、采购流程、销售 仓库 ...
实时数仓（一）行为数据ods到dwd层
qq_44665283的博客
03-23 2021
行为数据ods到dwd层 采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 (1) 识别新老用户工具类 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认。 package com.yyds.utils; import org.ap
将ods层数据开发到DWD层
Werkple的博客
09-17 1619
#!/bin/bash ############################################ author: hunter.d date : 2019-11-28 desc : DWD_APL_GLB_DTL 计算脚本 ############################################ HIVE_HOME=/opt/app/hive-2.1.0 获取当前时间的前一天日期 DT=date -d'-1 day' +'%Y-%m-%d' 如果脚本传入了参数，则计算
DBeaver数据模型设计工具：从概念模型到物理实现
最新发布
gitblog_00727的博客
10-08 922
你是否还在为数据库表结构设计而烦恼？面对复杂的表关系无从下手？DBeaver的ERD（实体关系图）工具能帮你轻松搞定从概念模型到物理实现的全流程。本文将详细介绍如何使用DBeaver进行数据模型设计，读完你将掌握：概念模型设计方法、实体关系创建技巧、布局优化策略以及物理表结构生成。 ## 什么是ERD工具 ERD（实体关系图）是数据库设计的核心工具，通过图形化方式展示实体（表）、属性（字段）和...
数据模型 三层结构
annapei的专栏
11-07 2724
概念模型（Conceptual Data Model），是面向数据库用户的实现世界的模型，主要用来描述世界的概念化结构，它使数据库的设计人员在设计的初始阶段，摆脱计算机系统及DBMS的具体技术问题，集中精力分析数据以及数据之间的联系等，与具体的数据管理系统（Database Management System，简称DBMS）无关。概念数据模型必须换成逻辑数据模型，才能在DBMS中实现。
数仓建模（六）从ODS到DWD、DWS、ADS
引用原创内容标明出处即可
01-15 4147
在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。
Flink实时数仓项目—ODS层业务数据到DWD层
yunweijie_cn的博客
04-13 2407
Flink实时数仓项目—ODS层业务数据到DWD层前言一、ODS层业务数据处理1.ETL过滤空值数据2.实现动态分流功能二、功能实现1.ETL空值过滤2.维度数据存储的选择3.动态分流再分析2.1 思路一（Pass）2.2 思路二4.思路二实现4.1 配置表字段的确定4.2 TableProcess实体类的创建4.3 Flink-CDC处理配置表4.4 处理主流数据和广播数据 前言 前面已经将日志数据和业务数据采集到了Kafka中，Kafka中的ods_xx主题就作为了实时数仓的ODS层。同时，已经完成了
数据科学家之路: 数据仓库开发教程 (DW)- 数据模型架构&编码规范 & 分层 ODS / DWD / DWS / ADS...
AI天才研究院
09-18 1万+
数据层次的划分ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史...
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 5678
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
话单数据仓库搭建（2）- 数据仓库ODS及DWD层
qq_42409495的博客
12-27 3534
1 数仓分层概念 1.1 为什么要分层 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。 2、清晰数据结构 每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。 3、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 4、隔离原始数据 不论是数据的异常还是数据的敏感性，使真实数据与统计
操作手册2：建数仓，从ODS到DWD层——日志的清洗、转换、集成
Big_data_implicit_
12-17 3276
需求： 用spark来进行数据ETL： 清洗： 去除json数据中的废弃字段 过滤json格式不正确的脏数据 过滤日志中的account及deviceid全为空的记录 过滤日志中缺少关键字段（properties/eventid/sessionid缺一不可）的记录 过滤日志中不符合时间段的记录（由于app上报日志可能的延迟，有数据延迟到达） 对于web端日志，过滤爬虫请求数据（通过useragent标识来分析） 转换： 将json打平，解析成扁平结构，主要是
ods层数据到dwd层的处理需求说明
m0_59887059的博客
03-28 2118
目录 1 清洗过滤 2 数据解析 3 SESSION分割 1 清洗过滤 去除json数据中的废弃字段，因为前端开发人员更新了埋点设计方案之后，可能有些没有用的字段也会保留 json格式不正确的 过滤掉缺少关键字段的记录(deviceId、properties、eventId、sessionId缺任何一个都不行)sessionid是一个会话的key，浏览器第一次访问服务器会在服务器端生成一个session，有一个sessionid和它对应。tomcat生成的sessionid叫做jses
ODS+DWD层详细介绍
m0_66177444的博客
04-28 1634
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏。
数据分层----ODS,DWD,DWS,ADS,DIM
Today_2018的博客
01-19 6014
数据分层相关概念： 零、数据加载层：ETL（Extract-Transform-Load） 一、数据仓库层：DW（Data Warehouse） 操作数据层：ODS（Operational Data Store） 数据明细层：DWD（Data Warehouse Detail） 数据汇总层：DWS（Data WareHouse Summary） 应用数据层：ADS（Application Data Store） 通用维度层：DIM（Dimension） 推荐阅读：https://www.cnblogs
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 4043
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
hive在数仓ODS层到DWD层建模方法
LastYHM的博客
10-22 5388
数仓建模的原因: 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。 创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原
数仓ODS,DWD,DWS层
热门推荐
while__false的博客
09-04 1万+
数据仓库中的数据表，往往是分层管理、分层计算的； 所谓分层，具体来说，就是将大量的数据表按照一定规则和定义来进行逻辑划分； ADS层： 应用服务层 DWS层：数仓汇总层 DWD层：数仓明细层 ODS层：操作数据（最原始的数据）层 -- 贴源层 DIM层：存储维表 ODS层：对应着外部数据源ETL到数仓体系之后的表！ DWD层：数仓明细层；一般是对ODS层的表按主题进行加工和划分；本层中表记录的还是明细数据； DWS层：数仓汇总层； ADS层： 应用层，主要是一些结果报表！ 分层的意义：数
实时数仓（三）业务数据从ods到dwd中数据的动态分流
qq_44665283的博客
03-24 2846
业务数据从ods到dwd中数据的动态分流 从 Kafka 的业务数据 ODS 层读取数据，经过处理后， 将维度数据保存到 HBase，将事实数据写回 Kafka 作为业务数据的 DWD 层。 一般把维度数据写入存储容器，一般是方便通过主键查询的数据库比如HBase,Redis,MySQL 等。这里需要一种动态配置方案，把这种配置长期保存起来，一旦配置有变化，实时计算可以自动感知。 这里使用广播流进行实现。 （1）主程序代码 package com.yyds.app.dwd; import com.ali
hive项目如何从ods层导数据到dwd层
08-29
<think>我们正在处理一个关于Hive项目中如何从ODS层导数据到DWD层的问题。根据提供的引用，我们可以总结出以下关键点： 1. **引用[1]**：提到了项目目标是自动化构建ODS层和DWD层，并掌握Hive和Spark的建表语法规则。 2. **引用[2]**：讨论了在数仓建模中，从ODS层到DWD层通常使用维度模型（星型模型或雪花模型）来减少多表关联，提高查询效率。 3. **引用[3]**：描述了一个在从ODS层加载数据到DWD层时可能遇到的异常情况，即由于外部表的数据文件残留导致插入失败的问题。 4. **引用[4]**：展示了一个具体的SQL插入语句示例，将数据从ODS层导入到DWD层的分区表中。 基于以上信息，我们可以总结出从ODS层导数据到DWD层的一般步骤： ### 步骤一：创建DWD层表 首先，需要在DWD层创建表。根据维度模型设计表结构，通常包括事实表和维度表。在Hive中，可以使用以下语句创建表（以外部表为例，便于管理数据）： ```sql CREATE EXTERNAL TABLE IF NOT EXISTS dwd_table_name ( column1 data_type, column2 data_type, ... ) PARTITIONED BY (dt string) -- 通常按天分区 STORED AS PARQUET -- 推荐使用列式存储格式，如Parquet LOCATION '/warehouse/dwd/db_name/dwd_table_name'; ``` ### 步骤二：数据清洗与转换 从ODS层抽取数据，并进行清洗和转换，以满足DWD层的数据质量要求和模型设计。这包括： - 过滤掉无效数据（如空值、非法值等） - 数据格式转换（如时间戳转换、字段类型转换） - 维度退化（将一些维度信息直接加入到事实表中，减少关联） - 业务字段的重新计算或组合 ### 步骤三：将数据插入DWD层 使用Hive的`INSERT`语句将处理后的数据加载到DWD层表中。通常我们会按天进行分区存储，例如： ```sql INSERT OVERWRITE TABLE dwd_table_name PARTITION (dt='${date}') SELECT column1, column2, ... FROM ods_table_name WHERE dt='${date}' -- 这里可以添加各种数据转换和清洗操作 ``` ### 注意事项： 1. **外部表管理**：如引用[3]所述，删除外部表时只删除元数据，不删除数据文件。因此，在重新创建表时，如果HDFS上已有数据文件，可能会导致插入失败。解决办法是：在插入数据前，确保目标目录是空的（可以通过`ALTER TABLE ... DROP PARTITION`删除旧分区，或者直接删除HDFS上的文件）。 2. **数据去重**：在ODS层数据可能存在重复的情况下，需要在导入DWD层时进行去重操作。 3. **性能优化**：使用分区和分桶可以提高查询效率。同时，使用列式存储格式（如Parquet）可以节省存储空间并提高查询性能。 ### 示例代码 假设我们有一个ODS层的用户行为日志表`ods_user_action_log`，现在要将其导入到DWD层的`dwd_user_action_log`表中，并按照日期分区。 ```sql -- 创建DWD层表 CREATE EXTERNAL TABLE IF NOT EXISTS dwd_user_action_log ( user_id BIGINT, item_id BIGINT, action_type STRING, action_time TIMESTAMP, province STRING, city STRING ) PARTITIONED BY (dt STRING) STORED AS PARQUET LOCATION '/warehouse/dwd/db_name/dwd_user_action_log'; -- 导入数据（假设处理当天的数据） INSERT OVERWRITE TABLE dwd_user_action_log PARTITION (dt='${date}') SELECT user_id, item_id, action_type, FROM_UNIXTIME(CAST(`timestamp` AS BIGINT), 'yyyy-MM-dd HH:mm:ss') AS action_time, province, city FROM ods_user_action_log WHERE dt='${date}' AND user_id IS NOT NULL -- 过滤无效数据 AND action_type IN ('click', 'buy', 'cart'); -- 只保留有效的行为类型 ``` 在这个例子中，我们进行了以下处理： - 将时间戳字段转换为标准的TIMESTAMP格式。 - 过滤了无效的用户ID和不在指定行为类型范围内的数据。 - 按天分区存储。 ### 自动化脚本 在实际项目中，通常会编写自动化脚本（如Shell脚本）来循环执行每天的导入任务，并传入日期参数。 综上所述，从ODS层导数据到DWD层主要包括建表、数据清洗转换和插入数据三个步骤，同时需要注意数据质量控制和性能优化。 §§相关问题§§ 1. Hive中如何管理外部表的数据文件？ 2. 在数据清洗过程中，Hive SQL常用的数据转换函数有哪些？ 3. 如何优化Hive查询以提高从ODS到DWD层的数据导入效率？ 4. 在数仓项目中，DWD层的数据模型设计有哪些常见模式？</think>### Hive项目从ODS层导数据到DWD层的方法 在Hive数仓项目中，从ODS层（操作数据存储层）到DWD层（数据仓库明细层）的数据导入通常通过以下步骤实现： #### 1. **创建DWD层表结构** ```sql CREATE EXTERNAL TABLE IF NOT EXISTS dwd_table_name ( column1 data_type, column2 data_type, ... ) PARTITIONED BY (dt string) -- 按天分区 STORED AS PARQUET -- 推荐列式存储格式 LOCATION '/warehouse/dwd/db_name/dwd_table_name'; ``` **关键点**： - 使用`EXTERNAL TABLE`防止误删数据文件[^3] - 分区字段通常为日期`dt` - 存储格式推荐Parquet/ORC以提高查询性能[^2] #### 2. **数据清洗与转换** ```sql INSERT OVERWRITE TABLE dwd_table_name PARTITION (dt='${date}') SELECT CAST(raw_column AS target_type) AS new_column, -- 类型转换 COALESCE(null_column, 0) AS default_value, -- 空值处理 REGEXP_EXTRACT(log, 'pattern') AS extracted_field, -- 字段提取 GET_JSON_OBJECT(json_col, '$.key') AS json_value -- JSON解析 FROM ods_table_name WHERE dt='${date}' AND is_valid = 1; -- 过滤无效数据 ``` **核心操作**： - 字段格式标准化（时间戳转换、字符编码统一） - 脏数据过滤（如空值、异常值） - 业务字段解析（日志拆分、JSON/XML解析）[^1][^2] - 维度退化（减少后续关联查询） #### 3. **自动化脚本示例 ```shell #!/bin/bash date=$1 SQL="INSERT OVERWRITE TABLE dwd_table PARTITION(dt='${date}') SELECT col1, col2 FROM ods_table WHERE dt='${date}'" hive -e "${SQL}" # 执行HQL命令 ``` **自动化要点**： - 通过调度工具（如Azkaban/Airflow）每日调度 - 使用`${date}`变量实现分区动态注入[^4] - 添加错误重试机制 #### 4. **常见问题解决** - **问题1**：HDFS文件冲突 **方案**：先清空目标分区目录 ```shell hdfs dfs -rm -r /warehouse/dwd/db/table/dt=${date} ``` - **问题2**：数据类型转换异常 **方案**：使用`CAST()`或`CASE WHEN`处理异常值 - **问题3**：数据倾斜 **方案**：添加`DISTRIBUTE BY RAND()`分散处理[^3] #### 5. **最佳实践** 1. **数据验证**：执行后检查行数波动和NULL值比例 2. **性能优化**： - 启用Tez/Spark引擎 - 设置合并小文件参数 `SET hive.merge.mapfiles=true;` 3. **数据质量**：添加字段长度校验、枚举值检查等约束 > 完整流程示例： > ODS层日志 → 解析JSON字段 → 清洗非法字符 → 转换时间戳 → 关联维度 → 写入DWD分区表[^1][^2]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值