离线数据仓库第三讲

已于 2022-11-27 21:42:04 修改
阅读量426 收藏 1
点赞数
分类专栏： 数据仓库 文章标签： 数据仓库 hive spark
于 2022-06-06 09:41:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010160949/article/details/125085370
版权
本文详细介绍了数据仓库中的ODS层和DIM层设计，包括用户行为数据和业务数据的ODS层设计，以及商品、优惠券、活动、地区和时间维度表的DIM层构建。在ODS层，强调了表结构设计、数据装载和压缩格式的选择；在DIM层，提到了维度建模理论、数据存储格式和拉链表的制作。同时，针对数据装载和查询性能问题，提出了相应的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据仓库搭建

1.ODS 层设计

ODS层的设计要点如下：
（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构。
（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip。
（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。

1.1 ods层(用户行为数据)

DROP TABLE IF EXISTS ods_log_inc;
CREATE EXTERNAL TABLE ods_log_inc
(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
离线数据仓库
Strive_0902的博客
07-14 4436
数据中台：利用大数据技术，对海量数据统一进行采集、计算和存储、并统一数据标准和口径，该架构需要维护两套代码：离线架构代码和实时架构代码。随取随用、只有在使用时才进行数据转换等处理。数据中台：包含数据仓库和其他服务中间件。对原始数据进行清洗、转换和预处理。作为数据仓库或数据集市的数据源，更适合进行数据挖掘、探索和预测。可视化报表服务，支持历史分析。源系统导入数据、无数据流失。商业智能系统、数据仪表盘等。与定义好的数据模型相吻合。对外提供数据服务的API。
离线数据仓库第一讲
u010160949的博客
12-20 939
数据仓库的基本概念1.为什么要分层1.1 数据仓库分层和每层的概念2.数据集市和数据仓库区别3.数据仓库命名规范3.1 表的命名3.2 脚本的命名3.3 表字段类型4.数仓理论4.1范式概念4.2 范式定义4.3维度建模4.3.1维度表和事实表4.3.2 事实表4.3.3 维度模型分类 1.为什么要分层 1.把复杂问题简单化:将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。 2.减少重复开发 :规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次3.计算结果的复用性。 隔离
Flink实时数仓项目—DWS层设计与实现
yunweijie_cn的博客
04-21 2333
Flink实时数仓项目—DWS层设计与实现前言一、需求梳理1.需求梳理2.DWS层定位二、DWS层—访客主题宽表的实现1.访客主题的需求2.访客主题宽表的设计3.实现思路4.代码实现三、DWS层—商品主题宽表的实现1.商品主题需求2.商品主题宽表的设计2.1 维度字段2.2 度量值2.3 其他字段3.商品主题宽表实体类4.功能实现 前言 在前面通过使用分流等方法，把数据拆分成了独立的Kafka Topic，接下来我们就要根据需求得出要计算哪些指标项。我们把指标以主题宽表的形式输出就是DWS层要做的事情。
如何优雅的设计DWS层？
a934079371的博客
07-27 652
今天和大家聊一个老生常谈的话题，如何设计DWS层？对于数仓的分层，想必大家都不陌生。基于OneData方法论的三层数仓划分：数据引入层（ODS，Operational Data Store...
DW数据仓库分层模型设计
libin91135的博客
01-16 1736
DWBI常见体系架构 ODS层： 为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类，一个用于存储当前需要加载的数据，一个用于存储处理完后的历史数据。历史数据一般保存3-6个月后需要清除，以节省空间。但不同的项目要区别对待，如...
简单搞定数仓搭建:数仓模型(DWS)
github_36444580的博客
08-18 1522
公共汇总粒度事实层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表。公共汇总层的一个表通常会对应一个派生指标。 公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省用户购买力分布。因此，我们可以以最终交易成功的商品、类目、买家等角度对最近一天的数据进行汇总。 注意 聚集是不跨越事实的。聚
数据仓库之汇总层(DWS)设计概要
ytp552200ytp的博客
07-09 7944
数仓为什么要分层 合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。建立数据分层可以提炼公共层，避免烟囱式开发，可见一个合适且合理的数仓分层是极其重要。 通用分层设计思路 ODS:操作型数据(Operational Data Store)，指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区，同时又承担基础数据记录历史变化，之所以保留原始数据和线上原始数据保持一致，方便后期数据核对
Hive离线数据仓库
将懒惰进行到底
11-22 4710
Hive是基于Hadoop的数据仓库工具，提供了一系列的工具，可以用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制。它可以将结构化的数据文件映射成一张表，并提供完成的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 Hive本质上是基于Hadoop的一种分布式计算框架，底层仍然是MR，本质上是离线大数据分析工具。 数据仓库 VS ...
离线数仓-数据仓库系统
kkddd35的博客
03-10 4371
数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数据模型能改善数据统计口径的混乱，减少计算错误的可能性。事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。
[离线数仓] 总结一、数据采集
最新发布
weixin_44428807的博客
12-29 888
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
数据仓库设计与开发-2-DWS层设计
weixin_41761912的博客
12-07 1787
DWS层设计
离线数仓（九）【DWS 层开发】
功不唐捐，玉汝于成
04-04 2946
DWS 层搭建
如何优雅地设计DWS层？ | StartDT Tech Lab 17
StartDT的博客
09-22 1092
DWS层在数仓分层设计中的重要性及其设计原则和流程
数仓建模：DWS层该如何建设？如何设计通用数据模型？
石榴姐yyds
07-31 1004
这样做不是不可以，在业务初期指标不是很多的情况下，我们为了能够快速构建应用看板可以这么做，但是随着业务的场景越来越复杂，指标越来越多，业务看数的需求变得更多的时候，这种模式就给IT人员造成了困扰，每一次需求都要重新开发一次，如果需求变更、迭代的快，明显数据开发人员开发速度是跟不上提需求的速度，这时候就需要我们数仓开发的同学去做好数据、指标的沉淀，开发更高效的模型来快速应对业务不断更新与迭代的各类需求，因此DWS公共汇总服务层便应运而生。总之DWS层是基于指标体系构建的对象宽表，主要是对对象的行为进行分析。
大数据仓库之ods原始数据层和dw层设计
热门推荐
残缺的歌的专栏
08-31 2万+
甲问：数仓建模时，涉及到uv(去重用户数)指标时，数据从哪里取，只能走ods原始数据层吗，汇总到dw层时，由于数据量太大，不能到用户粒度，所以在dw层中不包含用户粒度的数据，而且电商的报表分析，几乎每张报表都会涉及到uv指标，如果所有的uv指标都从ods层去获取，那样io是否会成为瓶颈，原始数据量也比较大。举例：比如说有个字段column_a，包含了几百个数据（1-500），统计时可能会统计条件为
数仓搭建--DWS层
中长跑路上的crush
11-22 351
背景:1.注意：建表操作需要在hive中进行，presto不支持hive的建表语法(creta table as select语句，一般不使用)该主题宽表是否需要建为分区表，取决与我们的商品数量的多少如果商品量很大，且交易量很大需要建成分区表如果商品量很少，或者每天交易量很少，则可以不必分区。
5.1 离线数仓—DWS层设计分析
yunweijie_cn的博客
03-01 947
DWS层设计开发前言一、DWS层设计分析1.设计要点1.1 设计依据1.2 存储格式1.3 命名规范二、DWS层举例分析1.思维导图构建2.构建派生指标表格3.汇总表的确定4.最近1日汇总表的设计5.最近1日汇总表数据装载6.最近n日汇总表的设计7.最近n日汇总表的数据装载7.1 初始思路7.2 优化思路7.3 数据装载的错误7.4 错误解决思路7.5 进一步优化7.6 各个表之间的关系 前言 下面真正进行DWS层的分析和设计 一、DWS层设计分析 1.设计要点 1.1 设计依据 DWS层的表要依赖于前面
电商项目_dws层建设
weixin_48370579的博客
07-05 392
三、DWS层建设----临时聚合表的设计与实现 # 事实表中一条记录所表达的业务细节程度被称为粒度。这种粒度通常有2种类型组成：一种是主题信息的隶属维度属性组合所表示的细节程度，另一种是此事实数据中涉及的其他主题域的维度信息(一般是关联key)。 # DWS是基于DWD数据，以其中的主题信息为维度，以其他主题数据为统计度量的数据集合表 示例： 主题为【交易主题】下的订单记录 粒度1：【orde...
Hive+Spark离线数仓工业项目--ODS层及DWD层构建（2）
技术专家
12-27 4135
Hive+Spark离线数仓工业项目--ODS层及DWD层构建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据学习爱好者

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值