剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍

最新推荐文章于 2025-10-08 00:47:35 发布
最新推荐文章于 2025-10-08 00:47:35 发布
阅读量5.2k 收藏 54
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 剑指数据仓库-项目篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067
本文详细介绍了数据仓库的建模过程，包括星型模型、雪花模型和星座模型的讲解，以及ODS层到DWD层的数据转换。讨论了在业务场景中补加updatetime字段的重要性，强调了数据建模在ERP项目架构中的作用，同时阐述了数仓分层流程和ODS到DWD层的具体操作，如MySQL到Hive的表结构转换和数据同步问题。
了解本专栏 订阅专栏 解锁全文
剑指数据仓库-项目篇(四) - DWS层&&ADS层指标计算
SparkOnYarn的博客
04-12 3576
一、项目回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、项目回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067 二、ODS --> DWD层是怎么做的 选择ruozeda...
剑指数据仓库-项目篇(二) - 数仓的各项理论知识&&订单表设计案例
SparkOnYarn的博客
04-10 934
一、上次回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理 三、ERP系统核心-仓库 一、上次回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105388526 简单回顾：基础资料、商品类别（SKU）、供应商、商家+用户、采购流程、销售 仓库 ...
Flink实时数仓项目—ODS层业务数据到DWD层
yunweijie_cn的博客
04-13 2407
Flink实时数仓项目—ODS层业务数据到DWD层前言一、ODS层业务数据处理1.ETL过滤空值数据2.实现动态分流功能二、功能实现1.ETL空值过滤2.维度数据存储的选择3.动态分流再分析2.1 思路一（Pass）2.2 思路二4.思路二实现4.1 配置表字段的确定4.2 TableProcess实体类的创建4.3 Flink-CDC处理配置表4.4 处理主流数据和广播数据 前言 前面已经将日志数据和业务数据采集到了Kafka中，Kafka中的ods_xx主题就作为了实时数仓的ODS层。同时，已经完成了
将ods层数据开发到DWD层
Werkple的博客
09-17 1619
#!/bin/bash ############################################ author: hunter.d date : 2019-11-28 desc : DWD_APL_GLB_DTL 计算脚本 ############################################ HIVE_HOME=/opt/app/hive-2.1.0 获取当前时间的前一天日期 DT=date -d'-1 day' +'%Y-%m-%d' 如果脚本传入了参数，则计算
DBeaver数据模型设计工具：从概念模型到物理实现
最新发布
gitblog_00727的博客
10-08 925
你是否还在为数据库表结构设计而烦恼？面对复杂的表关系无从下手？DBeaver的ERD（实体关系图）工具能帮你轻松搞定从概念模型到物理实现的全流程。本文将详细介绍如何使用DBeaver进行数据模型设计，读完你将掌握：概念模型设计方法、实体关系创建技巧、布局优化策略以及物理表结构生成。 ## 什么是ERD工具 ERD（实体关系图）是数据库设计的核心工具，通过图形化方式展示实体（表）、属性（字段）和...
数据模型 三层结构
annapei的专栏
11-07 2724
概念模型（Conceptual Data Model），是面向数据库用户的实现世界的模型，主要用来描述世界的概念化结构，它使数据库的设计人员在设计的初始阶段，摆脱计算机系统及DBMS的具体技术问题，集中精力分析数据以及数据之间的联系等，与具体的数据管理系统（Database Management System，简称DBMS）无关。概念数据模型必须换成逻辑数据模型，才能在DBMS中实现。
实时数仓（一）行为数据ods到dwd层
qq_44665283的博客
03-23 2021
行为数据ods到dwd层 采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 (1) 识别新老用户工具类 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认。 package com.yyds.utils; import org.ap
数仓建模（六）从ODS到DWD、DWS、ADS
引用原创内容标明出处即可
01-15 4156
在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。
数据科学家之路: 数据仓库开发教程 (DW)- 数据模型架构&编码规范 & 分层 ODS / DWD / DWS / ADS...
AI天才研究院
09-18 1万+
数据层次的划分ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史...
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 5703
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
话单数据仓库搭建（2）- 数据仓库ODS及DWD层
qq_42409495的博客
12-27 3535
1 数仓分层概念 1.1 为什么要分层 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。 2、清晰数据结构 每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。 3、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 4、隔离原始数据 不论是数据的异常还是数据的敏感性，使真实数据与统计
操作手册2：建数仓，从ODS到DWD层——日志的清洗、转换、集成
Big_data_implicit_
12-17 3278
需求： 用spark来进行数据ETL： 清洗： 去除json数据中的废弃字段 过滤json格式不正确的脏数据 过滤日志中的account及deviceid全为空的记录 过滤日志中缺少关键字段（properties/eventid/sessionid缺一不可）的记录 过滤日志中不符合时间段的记录（由于app上报日志可能的延迟，有数据延迟到达） 对于web端日志，过滤爬虫请求数据（通过useragent标识来分析） 转换： 将json打平，解析成扁平结构，主要是
ods层数据到dwd层的处理需求说明
m0_59887059的博客
03-28 2119
目录 1 清洗过滤 2 数据解析 3 SESSION分割 1 清洗过滤 去除json数据中的废弃字段，因为前端开发人员更新了埋点设计方案之后，可能有些没有用的字段也会保留 json格式不正确的 过滤掉缺少关键字段的记录(deviceId、properties、eventId、sessionId缺任何一个都不行)sessionid是一个会话的key，浏览器第一次访问服务器会在服务器端生成一个session，有一个sessionid和它对应。tomcat生成的sessionid叫做jses
ODS+DWD层详细介绍
m0_66177444的博客
04-28 1635
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏。
数据分层----ODS,DWD,DWS,ADS,DIM
Today_2018的博客
01-19 6018
数据分层相关概念： 零、数据加载层：ETL（Extract-Transform-Load） 一、数据仓库层：DW（Data Warehouse） 操作数据层：ODS（Operational Data Store） 数据明细层：DWD（Data Warehouse Detail） 数据汇总层：DWS（Data WareHouse Summary） 应用数据层：ADS（Application Data Store） 通用维度层：DIM（Dimension） 推荐阅读：https://www.cnblogs
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 4044
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
hive在数仓ODS层到DWD层建模方法
LastYHM的博客
10-22 5388
数仓建模的原因: 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。 创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原
数仓ODS,DWD,DWS层
热门推荐
while__false的博客
09-04 1万+
数据仓库中的数据表，往往是分层管理、分层计算的； 所谓分层，具体来说，就是将大量的数据表按照一定规则和定义来进行逻辑划分； ADS层： 应用服务层 DWS层：数仓汇总层 DWD层：数仓明细层 ODS层：操作数据（最原始的数据）层 -- 贴源层 DIM层：存储维表 ODS层：对应着外部数据源ETL到数仓体系之后的表！ DWD层：数仓明细层；一般是对ODS层的表按主题进行加工和划分；本层中表记录的还是明细数据； DWS层：数仓汇总层； ADS层： 应用层，主要是一些结果报表！ 分层的意义：数
实时数仓（三）业务数据从ods到dwd中数据的动态分流
qq_44665283的博客
03-24 2847
业务数据从ods到dwd中数据的动态分流 从 Kafka 的业务数据 ODS 层读取数据，经过处理后， 将维度数据保存到 HBase，将事实数据写回 Kafka 作为业务数据的 DWD 层。 一般把维度数据写入存储容器，一般是方便通过主键查询的数据库比如HBase,Redis,MySQL 等。这里需要一种动态配置方案，把这种配置长期保存起来，一旦配置有变化，实时计算可以自动感知。 这里使用广播流进行实现。 （1）主程序代码 package com.yyds.app.dwd; import com.ali
hive项目如何从ods层导数据到dwd层
08-29
在Hive数仓项目中，从ODS层（操作数据存储层）到DWD层（数据仓库明细层）的数据导入通常通过以下步骤实现： #### 1. **创建DWD层表结构** ```sql CREATE EXTERNAL TABLE IF NOT EXISTS dwd_table_name ( column1 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值