数仓 建模思想之星型模型、雪花模型、星座模型

[hive]维度模型分类:星型模型,雪花模型,星座模型|范式 z=f(x,y)当给定x,y则能计算出z,当给x,y,n时,也能计算出z,此时z部分函数依赖于z,y,n。比如通过(学号,课程)推出姓名,因为可以直接通过学号退出姓名,所以:姓名部分依赖于(学号,课程)。星型模型中只有一张事实表,以及0张或多张维度表,事实与纬度表通过主键外键相关联,维度之间不存在关联关系,当所有纬度都关联到事实表时,整个图形非常像一种星型的结构,所以称之为“星型模型”。主键为:"学号"+"课名"。"分数”完全依赖于(学号,课名),但是姓名并不完全依赖于(学号,课名),姓名只依赖于学号。 阅读详情

数仓 建模思想之星型模型、雪花模型、星座模型

1. 背景

  1. 在大数据开发中,数据一般是分为事实表,维度表,实体表等表。
  2. 事实表顾名思义就是记录实际发生的事情如订单表,优惠券使用表等等。
  3. 维度表,顾名思义,就是一个信息有多个维度,记录这些维度值的表。如日期,产品类目等等。一般会有一个id,以及id对应的各种维度具体信息。

注意,数仓建模主要就是将数据如何以数据库和表为单元,尽可能科学有效存储,方便后续的查询,分析,使用。在这个过程中,如何保证数据查询便捷性,性能,降低空间存储冗余度都是需要仔细考量的。

注意,数据冗余带来好处是,使用时,不需要关联其他表格,直接在一个表格就获取到所需要的信息,查询性能也会很不错。坏处就是,相同信息可能存储多份,空间占用较多,修改时代价也比较大,还需要考虑数据同步。
将独立信息单独存储一份,需要使用的地方记录这个信息的id,具体查询时关联这个表格即可,这样带来好处是相同信息只需要存储一份,并且以id关联,内部数据变化不会影响到外界。坏处就是,查询时需要关联这个表

2. 星型模型

  1. 星型模型,顾名思义,就是一个主要的表格,相关信息通过一层join关联其他的表。
  2. 注意,星型模型是一层关联

3. 雪花模型

  1. 雪花模型,一个主要表格,但所需要信息,关联一层表格之后,需要再次关联一层表格。
  2. 注意,关联至少2次

4. 星座模型

  1. 2个主要的表,一般是事实表,通过维度表关联在了一起
  2. 注意,2个主要表格通过一个维度表关联在了一起。

5. 总结

维度建模理论与数仓分层思想 维度建模理论与数仓分层思想 维度建模 ODS 层因为保留原始数据, 所以和业务数据库 (关系模型) 一样是关系模型. DWD 层即进行了维度建模, 将下面的模型 ↓ 转化为了下面的维度模型, 即以事实表为中心, 周围有一圈的维度表 ↓ 维度模型中的表数据 (数据特征) 可能有冗余, 但查询时一般只需要进行事实表和维度表进行 join, 不用 join 太多表, 查询性能更好. 在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。 但生产中事实表不可能只有一张, 所以多个事实表多个维度表结合 阅读详情

相关推荐

数据模型设计方法论汇总

是用来描述现实世界中客观存在的事物、事物的属性,以及事物之间关系的一种数据模型。在数据库设计中,ER模型被广泛用作数据建模的工具,它提供了不受任何数据库管理系统(DBMS)约束的面向用户的表达方法。在ER模型中,关系用菱形表示,并用无向连线将参与关系的实体与菱形相连,连线上标明关系的类型,如1对1、1对多或多对多等。在ER模型中,实体通常对应于数据库中的表,而实体的属性则对应于表中的字段。维度建模是一种在数据仓库中用于数据建模的技术,它将 事实表 和 维度表 组织在一起,以提供快速、简单的数据分析功能。

形而上者谓之道 形而下者谓之器 1226

数仓建模的edw_浅谈数仓分层和模型

数仓分层ODS层基础层-ODS(Operational Data Store-操作型数据存储):主要是未经过加⼯的原始数据中间层-CDM\EDW(Enterprise Data Warehouse-企业级数据仓库,Common Data Model,公共维度模型层):dwd-明细整合层dws-⾼粒度汇总层,⼀般为主题宽表dim-维度表应⽤层-ADM(Application Data Ma...

weixin_33542589的博客 1136

FFmpeg视频编码的流程详解及参考demo

本文主要讲解FFmpeg的视频编码的具体流程,API使用。最后再以一个非常简单的demo演示将一个yuv数据文件编码为H264的视频文件,也就是YUV编码为H264。

分享音视频技术 4498

使用moveit控制机械臂

位置设置:`target_pose.position.x = 0.12`, `target_pose.position.y = 0.41`, 和 `target_pose.position.z = 0.44` 分别设置了机械臂末端执行器的X, Y, 和 Z坐标。设定目标位置:`group.set_pose_target(target_pose)` 这一命令将之前定义的目标位置和姿态设置为当前机械臂组的目标,为接下来的路径规划做准备。在机械臂控制的过程中,设定精确的目标位置和姿态是实现精确操作的关键步骤。

realman_Rop的博客 3687

深度学习二分类实战:用Python+Keras搞定基因表达数据预测(附完整代码)

本文详细介绍了如何使用Python和Keras构建深度学习模型进行基因表达数据的二分类预测。通过数据预处理、特征选择、神经网络构建及优化策略,特别针对小样本场景提供了调参技巧和模型解释方法。文章还包含完整的代码示例,帮助读者快速掌握深度学习在生物信息学中的应用。

weixin_30642561的博客 245

Zynq远程更新程序实战:从emmc到flash的完整方案解析

本文详细解析了Zynq远程更新程序的完整方案,重点探讨了从emmc到flash的实战操作。通过硬件连接限制破解、emmc配置技巧、flash擦写策略优化等关键技术点,提供了可靠的远程更新解决方案,特别适合需要频繁更新boot.bin的应用场景。

weixin_29163797的博客 179

DC-DC 转换器中的压电谐振器:当前状态和限制

在功率转换器应用中,居里温度较低的谐振器的 k 2和 Q M显着降低会导致效率降低,需要仔细的热处理。由于使用 PR 的功率转换器在不同的条件下运行,包括温度范围、电压偏置和功率电平,因此不可避免地会出现非线性效应,必须妥善解决这一问题,以免影响转换器的性能。等效电路模型(Butterworth Van-Dyke 或 BVD 模型)将压电谐振器在其机械谐振附近的电响应转换为一个简单电路,该电路由与由电极形成的输入电容 C 0并联的串联 RLC 动分支组成,见图图 1 还显示了阻抗与频率的关系。

2301_79716471的博客 1297

【图像去噪】论文复现:大道至简!NAFNet的Pytorch源码复现!跑通NAFNet源码,补充PlainNet,由大到小拆解NAFNet网络结构,由小到大实现结构组合,逐行注释!

论文题目:Simple Baselines for Image Restoration —— 图像恢复的简单基线【图像去噪】论文精读:Simple Baselines for Image Restoration(NAFNet)本文以SIDD数据集为例,跑通NAFNet源码,详解NAFNet网络结构与实现。建议与KBNet和CGNet的复现文件综合查看。训练和测试代码解析见单独的BasicSR源码精读(后续会出)。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 2992

Linux系统安装部署Redis完整教程(图文详解)

最近需要在Linux服务器安装部署Redis,参考了网上很多的文章,比较零碎,所以我自己写了一篇完整的Redis安装部署文档,在部署Redis之前重装了我的华为服务器,就是为了给大家一步步阐述我的操作过程,配合图文进行讲解更加通俗易懂!

黄团团的个人博客 6693

YOLO26涨点改进 | 独家创新,细节涨点改进篇 | CVPR 2025顶会 | YOLO26引入Mona即插即用模块, 含MoCAA和DyTMona二次创新改进,含多种创新改进高效发论文

本文给大家介绍Mona即插即用模块, 含MoCAA和DyTMona二次创新模块优化YOLO26模型。YOLO26引入 Mona通过引入多尺度视觉友好型卷积滤波器(如3x3、5x5、7x7深度卷积)和可伸缩归一化层来优化适配器设计,以更好地处理视觉信号并调节输入特征分布。YOLO26引入Mona即插即用模块, 含MoCAA和DyTMona二次创新改进,含多种创新改进高效发论文。适合目标检测、图像分割、图像分类等所有CV任务通用即插即用模块。

Ai缝合怪、助力小伙伴高效发论文 240

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 数仓 用户画像
下一篇: 大数据开发之机器学习总结(一)
闻香识代码
博客等级 码龄12年 314粉丝 223原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值