hive在数仓ODS层到DWD层建模方法

最新推荐文章于 2025-05-03 08:00:00 发布
最新推荐文章于 2025-05-03 08:00:00 发布
阅读量5.3k 收藏 54
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 数仓项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LastYHM/article/details/109218560

数仓建模的原因

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。
在这里插入图片描述
创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原始数据的关系建模转变为维度建模

数仓建模的好处

数仓建模的好处从关系模型和维度模型的对比中可以看出

关系建模

在这里插入图片描述
关系模型如图所示，严格遵循第三范式（3NF），从图中可以看出，较为松散、零碎，物理表数量多，而数据冗余程度低。由于数据分布于众多的表中，这些数据可以更为灵活地被应用，功能性较强。关系模型主要应用与OLTP系统中，为了保证数据的一致性以及避免冗余，所以大部分业务系统的表都是遵循第三范式的。
OLTP系统中,数据多保存在关系型数据库(Mysql)中,一方面数据的冗余会造成数据库难以保存,另一方面表格太大不利于Mysql的快速响应,拆分为多个零碎小表的格式更利于查询使用

维度建模

最低0.47元/天 解锁文章

200万优质内容无限畅学
剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍
SparkOnYarn的博客
04-11 5078
一、上次课回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、上次课回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...
数仓(三)：分层设计 ODS-DWD-DWS-ADS
热门推荐
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
从0到1简单搭建加载数仓DWD层（业务数据解析）
大数据星球-浪尖
12-27 984
本文来源于网络，如有侵权，联系浪尖删除：langjianliaodashuju来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写...
数仓分层：ODS、DWD、DWS、DWT、ADS
最新发布
呱牛 Just do IT
05-03 959
在数据开发中，我们都希望自己的数据结构清晰、数据关系条理化，能够在系统中有层级、有顺序地流转，使用者与设计者能够进行数据血缘追踪，清晰地看清楚数据的整个生命周期。因此，需要一套行之有效的数据组织、管理和处理方法，来让我们的数据体系更加有序，这就是数据分层。对于数仓分层，不同的厂商、不同的业务服务类型对数据仓库分层也有各自不同，没有标准说一定要分3层、4层还是5层才是最好的分层，重点还是满足业务与企业发展的需要。
【Spark数仓项目】需求一：项目用户数据生成-ODS层导入-DWD层初步构建
qq_31412425的博客
06-26 1194
本项目使用一台虚拟机，主机名Hadoop10，CentOS7系统。虚拟机服务器jdk选用1.8，包括完整生态的hadoop spark；本地主机为win11，scala2.12.17，在idea集成环境中编写。
ODS+DWD层详细介绍
m0_66177444的博客
04-28 1430
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏。
话单数据仓库搭建（2）- 数据仓库ODS及DWD层
qq_42409495的博客
12-27 3402
1 数仓分层概念 1.1 为什么要分层 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。 2、清晰数据结构 每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。 3、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 4、隔离原始数据 不论是数据的异常还是数据的敏感性，使真实数据与统计
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
weixin_45532984的博客
05-12 1万+
一. 数仓及其维度 1. 什么是数仓？ 数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。 数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。 2. 数仓的特点 （1）集成性 数仓中存储的数据来源于多个数据源，原始数据在不同数据源中的存储方式.........
Hive之数仓的分层及建模理论
qq_56870570的博客
07-20 1万+
数据仓库的用途 整合公司所有业务数据，建立统一的数据中心 产生业务报表，用于作出决策 为网站运营提供运营上的数据支持 可以作为各个业务的数据源，形成业务数据互相反馈的良性循环 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果 开发数据产品，直接或间接地为公司盈利 数仓运行简图 数据集市与数仓的区别 数据集市（Data Market）：是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务。 数据仓库
3.项目记录将ODS层的数据处理成DWD层
qq_44342234的博客
09-03 3069
将ODS层的数据通过清洗转换处理成DWD层的数据,保存成parquet格式 主要工作: 数据规范处理,将一些字段处理成同一的规范(时间,日期,空字符统一...) 将设备id,和用户账号同时为空的记录过滤 将分析用的一个关键字段缺失的记录过滤 过滤时间不符合的记录 将数据扁平化 session分割(对App的用户两次操作的时间) 1，对于web端日志，按天然session分割，不需处理 2，对于app日志，由于使用了登录保持技术，导致app进入后台很长时间后，再恢复前台，依然是同一个ses
简单搞定数仓搭建:数仓模型(DWD)
github_36444580的博客
08-11 2179
明细粒度事实层（DWD） 明细粒度事实层以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。 公共汇总粒度事实层（DWS）和明细粒度事实层（DWD）的事实表作为数据仓库维度建模的核心，需紧绕业务过程来设计。通过获取描述业务过程的度量来描述业务过程，包括引用的维度和与业务过程有关的度量。度量通常为数值型数据，作为事实逻辑表的依据。事实逻辑表的描述信息是事实属性，事实属性中的外键字段通过对应维度
Hive中利用insert从ods加载数据到dwd异常
ForestCat的专栏
09-11 562
2021-09-12T08:23:20,736 ERROR [f53ee21b-bce6-4ddb-a0bd-9db513661e03 main] exec.Task: Failed with exception java.io.IOException: rename for src path: hdfs://yc/warehouse/gmall/dwd/dwd_start_log/dt=2021-09-10/.hive-staging_hive_2021-09-12_08-23-09_369_34240.
ods层数据到dwd层的处理需求说明
m0_59887059的博客
03-28 2074
目录 1 清洗过滤 2 数据解析 3 SESSION分割 1 清洗过滤 去除json数据中的废弃字段，因为前端开发人员更新了埋点设计方案之后，可能有些没有用的字段也会保留 json格式不正确的 过滤掉缺少关键字段的记录(deviceId、properties、eventId、sessionId缺任何一个都不行)sessionid是一个会话的key，浏览器第一次访问服务器会在服务器端生成一个session，有一个sessionid和它对应。tomcat生成的sessionid叫做jses
数仓建模（六）从ODS到DWD、DWS、ADS
引用原创内容标明出处即可
01-15 3127
在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。
实时数仓（一）行为数据ods到dwd层
qq_44665283的博客
03-23 1990
行为数据ods到dwd层 采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 (1) 识别新老用户工具类 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认。 package com.yyds.utils; import org.ap
数仓实战04：数仓搭建-DWD层
qq_28286027的博客
08-19 932
1）对用户行为数据解析 2）对核心数据进行判空过滤。 3）对业务数据采用维度模型重新建模，即维度退化。 1.用户行为启动表数据解析 1.1创建启动表 1）建表语句 hive (gmall) > DROP TABLE IF EXISTS dwd_start_log; CREATE EXTERNAL TABLE dwd_start_log ( `mid_id` string, `user_id` string, `version_code` string, `version_name` st.
从 0 到 1 构建数仓之DWD层
涤生大数据
02-05 1033
在企业数字化转型进程中，数据仓库的建设至关重要，而 DWD 层（明细粒度事实层）作为数据仓库的核心支撑层，其搭建质量直接影响企业数据的分析价值与决策效率。本文将结合实际案例与行业经验，详细阐述企业如何从 0 到 1 搭建高效、可靠的 DWD 层。
10.数据仓库搭建之DWD层搭建
Mmj666的博客
07-14 3183
10.数据仓库搭建之DWD层搭建
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 3918
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
基于hive电影评分数据分析可视化的数仓搭建4大层
04-28
<think>好的，我现在需要帮用户解决如何基于Hive进行电影评分数据的分析与可视化，并搭建四层结构的数据仓库。首先，我得理清楚用户的需求。用户提到的四层架构通常是指数据仓库中的分层设计，常见的有ODS、DWD、DWS和ADS层。我需要确保每一层的定义和功能都正确，并结合Hive的使用方法。 接下来，我需要回忆Hive在数据仓库中的应用。Hive适合处理结构化数据，适合做ETL和数据分析。电影评分数据可能包括用户ID、电影ID、评分、时间戳等信息，这些数据需要经过清洗、转换后存储到不同的层级中。同时，可视化部分可能需要将处理后的数据导出到其他工具，比如Tableau或ECharts。 用户提到的四层架构，我需要详细说明每一层的作用。ODS层是原始数据存储，DWD层是清洗后的明细数据，DWS层是聚合的轻度汇总层，ADS层是面向应用的数据。需要确保每个层次的设计合理，并且给出Hive表的创建示例，比如分区和存储格式的选择，如ORC或Parquet。 然后，数据分析部分可能需要用到Hive的SQL查询，比如统计平均分、评分分布等。可视化可能需要连接BI工具，这里需要提到如何将Hive的数据导出或者直接连接。另外，数据仓库的搭建步骤，包括数据采集、分层建模、ETL流程、调度工具和可视化工具的选择，都需要详细说明。 还需要考虑引用用户提供的参考资料，比如引用[4]中提到的Hadoop、Spark、Hive在电影票房预测中的应用，可以关联到数据仓库的处理流程。同时，引用[3]中的SSM框架和MySQL可能不直接相关，但需要注意用户可能有的系统开发背景。 用户可能希望了解具体的实现步骤和技术选型，比如使用Hive进行数据清洗，使用Sqoop或Flume进行数据采集，Airflow或Azkaban作为调度工具。可视化部分可能需要提到ECharts或Superset，这些工具如何与Hive集成。 最后，生成的相关问题需要围绕数据仓库的其他层设计、性能优化、扩展性等，确保覆盖用户可能感兴趣的后续问题。需要检查是否所有要求都满足：使用正确的中文回答，LaTeX格式，引用标记，以及相关问题部分。</think>以下是如何基于Hive进行电影评分数据分析与可视化，并设计四层数据仓库的实施方案： # 一、四层数据仓库架构设计 $$ODS \rightarrow DWD \rightarrow DWS \rightarrow ADS$$ 1. **ODS层（操作数据存储）** - 存储原始采集数据，保持数据原貌 - 创建Hive外部表映射HDFS原始数据文件 ```sql CREATE EXTERNAL TABLE ods_movie_ratings( user_id BIGINT, movie_id STRING, rating DECIMAL(3,1), timestamp BIGINT) PARTITIONED BY (dt STRING) STORED AS ORC LOCATION '/hive/warehouse/ods/movie_ratings'; ``` 2. **DWD层（明细数据层）** - 数据清洗与标准化：处理缺失值、异常值、格式转换 ```sql CREATE TABLE dwd_movie_ratings( user_id BIGINT, movie_id STRING, rating DECIMAL(3,1), rating_time TIMESTAMP) PARTITIONED BY (year INT, month INT); ``` 3. **DWS层（汇总数据层）** - 生成多维度的轻度汇总表 ```sql CREATE TABLE dws_movie_analysis( movie_id STRING, avg_rating DECIMAL(3,1), rating_count INT, rating_dist MAP<DECIMAL(3,1),INT>) PARTITIONED BY (genre STRING); ``` 4. **ADS层（应用数据层）** - 面向可视化应用的最终数据集 ```sql CREATE TABLE ads_visual_data( movie_id STRING, rating_level STRING, popularity_index DECIMAL(5,2)) STORED AS PARQUET; ``` # 二、数据分析实现 1. **评分分布分析** $$f(x) = \frac{1}{N}\sum_{i=1}^{N} \delta(x - r_i)$$ ```sql SELECT movie_id, percentile(rating, 0.25) AS q1, avg(rating) AS avg_rating, percentile(rating, 0.75) AS q3 FROM dwd_movie_ratings GROUP BY movie_id; ``` 2. **时间趋势分析** ```sql SELECT year(rating_time) AS year, month(rating_time) AS month, count(*) AS rating_count FROM dwd_movie_ratings GROUP BY year, month ORDER BY year, month; ``` # 三、可视化实现方案 1. **技术选型** - 使用Hue或Zeppelin进行SQL交互式分析 - 通过Superset连接Hive进行可视化 - 结合ECharts生成动态图表 2. **典型可视化场景** - 评分热力图：展示不同时间段评分密度分布[^4] - 箱线图：显示各电影评分分布特征 - 时间序列折线图：呈现评分趋势变化 # 四、实施步骤 1. 数据采集：通过Sqoop/Flume导入业务系统数据 2. 分层建模：按四层架构设计Hive表结构 3. ETL开发：使用HQL+Spark SQL进行数据加工 4. 任务调度：配置Airflow调度ETL工作流 5. 可视化集成：通过JDBC连接可视化工具 # 五、优化策略 1. **存储优化** - 采用ORC格式存储，压缩比提升60%[^2] - 按时间分区+分桶存储 2. **计算优化** ```sql SET hive.vectorized.execution.enabled=true; -- 启用向量化查询 SET hive.tez.container.size=4096; -- 调整计算资源 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值