剑指数据仓库-项目篇(二) - 数仓的各项理论知识&&订单表设计案例

最新推荐文章于 2022-04-10 15:07:02 发布
最新推荐文章于 2022-04-10 15:07:02 发布
阅读量900 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 剑指数据仓库-项目篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SparkOnYarn/article/details/105430370
了解本专栏 订阅专栏 解锁全文
剑指数据仓库-项目篇(四) - DWS层&&ADS层指标计算
SparkOnYarn的博客
04-12 3516
一、项目回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、项目回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067 二、ODS --> DWD层是怎么做的 选择ruozeda...
数仓建模之事实表
qq_37301790的博客
03-04 1131
1.确定主题 想解决那个需求 2.确定量度 3.确定事实数据粒度 同一个事实表中不能有不同的粒度 4.确定维度 5.创建事实表 6.冗余维度 将维度退化到事实表 一般设计是单事务事实表，耦合性小，便于扩展 多事务事实表，是用于前端有这样的需求，不如算订单的转化率，从购物车，到下单，到支付等。多事务的事实表的粒度要一致，不一致是无法放在一起的，比如订单粒度到订单子订单，物流确实一个子订单可能多个物流...
用户表 订单表 数据_数据仓库-拉链表
weixin_39720003的博客
11-29 753
在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1.数据量比较大;2.表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;3.需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如，查看某一个用户在过去某一段时间内，更新过几次等等;4.变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右...
数仓之订单事实表【累积型快照事实表】
ChinaKF_DrEam的博客
10-31 1255
数仓之订单事实表【累积型快照事实表】 1.创建订单事实表 DWD订单事实表（累积型快照事实表） drop table if exists dwd_fact_order_info; create external table dwd_fact_order_info ( `id` string COMMENT '订单编号', `o
hive在数仓项目中的表格设计
LastYHM的博客
10-22 820
数仓基本机构如下: 在对数仓的分层表格设计中,根据不同的业务需求会使用到不同表格写入方式: ODS 层 1 特殊表(只导入一次) 有些表格的内容通常不会进行进行变化,在数仓中采用特殊表的模式,只在数仓建造初始化的时候导入一次,之后不再进行内容导入:例如省份表和地区表 省份表（特殊） drop table if exists ods_base_province; create external table ods_base_province ( `id` bigint COMMENT '编号
数仓流程的报表设计及应用
shuimofengyang的博客
11-26 861
1.背景:先用sqoop全量抽取数据，再增量抽取，整合到全量表中，作为ods层；进行业务处理到作为dwd层，结果到dm层；再sqoop将结果抽到mysql。 ods层： #!/bin/bash # ******************************************************************************** # 程序名称:    online...
双非电子专业，大二京东实习，大三上岸字节大数据开发实习岗，分享一波面经...
a934079371的博客
04-10 2297
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 950个转型案例分享-大数据交流群今天分享学习群同学的求职经历，他是双非电子专业，大一就加了我好友，大二开始学习大数据的内容，并在大二暑期进行了一波面试，拿了一些日常实习offer，最终去京东实习。今年过完年就开始面大厂的春季实习，如今已经拿了字节实习offer。背景介绍双非电子信...
大数据入门没有头绪？这份总结的大数据学习路线希望你用得着
qq_43958467的博客
08-22 771
1、为什么要学习大数据？ 1.1，门槛 它比 Java 高一点，因为除了对数据库的操作之外，要学习大数据生态的东西，需要会分布式、数仓、中间件等知识。它比机器学习低一些，不需要你会很多的机器学习算法和数学知识，而像机器学习算法和数学知识是需要长时间的磨练和沉淀，所以做这块的研究生和博士居多。 无论是哪个学校的计算机专业，Java、数据、C、C++什么的都会接触到，但是大数据呢？第一...
大数据学习之路
BigData98的博客
03-22 4855
万字长文，纯干货，建议收藏阅读。 大纲： 一、开篇致辞 二、为什么要学大数据 三、学习大数据门槛 四、学习路线 & 独家干货（学生、在职、零基础） 五、推荐书单 六、Q & A 一、开篇致辞 我今年大四，大二的时候先后在厦门的两家小公司实习 Java，大三的时候在 Apche Kylin 的贡献团队 Kyligence 实习，现在在一家西班牙集团就职大数据开发。 首先感谢我大二的第...
数仓设计之拉链表
qq_38052208的博客
10-08 738
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 一张拉链表，存储的是维度信息以及每条记录的生命周期。可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 拉链表使用场景 1、有一些表的数据量很大，比如一张用户表，大约1亿条记录，50个字段。即使使用压缩格式，单张表的存储也会很大，在HDFS使用多份备...
数据仓库--事实表
weixin_47209187的博客
04-23 351
事实表分成三种：事务事实表、周期快照事实表、累计快照事实表 事务事实表 官方定义是：发生在某个时间点上的一个事件。比如以订单为例：下单是一个事实、付款是一个事实、退款是一个事实，所有事实的累计就是事务事实表 周期快照事实表 如果需要对某一天或者某个月的数据进行分析，那么可以使用周期快照事实表，比如：以天举例，财务报表一般都是周期快照事实表，它的最细粒度主键就是：日期+订单 累计快照事实表 累计快照...
数仓之订单详情事实表【价格分摊】
ChinaKF_DrEam的博客
10-28 1461
数仓之订单详情事实表[价格分摊] 1.创建订单详情事实表 drop table if exists dwd_fact_order_detail; create external table dwd_fact_order_detail ( `id` string COMMENT '订单编号', `order_id` st
拉链表的设计-订单
初学者
06-10 3632
数仓之-拉链表的设计 拉链表设计图： 1、创建数据库 create database ods; create database dwd; 2、在ods层中创建订单表 2.1、创建ods的订单表初始表(相当于是从mysql出来数据的，懒得去走mysql) create table ods_order_init( `id` string COMMENT '订单编号', `order_status`...
（从电商项目认识数仓体系七）业务数仓及表
z774884795的博客
07-03 1148
1 电商业务流程 2 电商常识（SKU、SPU） a.SKU：SKU（Stock Keeping Unit），库存量单位，即库存进出计量的基本单元，可以是件，盒，托盘等为单位。SKU是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法，现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号 b.SPU（Standard Product Unit），标准化产品单元，是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。 例：在购买商品时，首
离线数仓——（DWD层订单表，DWD层订单产品表，DWS层订单明细表，DWS层订单明细宽表，ADS层订单分析表）
qq_43408367的博客
02-25 863
订单从创建到最终完成，是有时间限制的；业务上也不允许订单在一个月之后，状态仍然在发生变化；2. 如果没有数据清洗、数据转换的业务需求，保留在ODS，不做任何变化【没有业务处理了】订单的状态不可能永远处于变化之中（订单的生命周期一般在15天左右）为保留订单状态，可以使用拉链表进行处理；分区的条件：订单创建日期；订单产品表普通的事实表，用常规的方法进行处理；DWD要处理的表有两张：订单表、订单产品表。分区的目的：订单一旦终止，不会重复计算。与维表不同，订单事实表的记录数非常多。订单是一个拉链表，而且是分区表。
实时数仓（六）DWM层双流join（订单表和订单明细表join）
qq_44665283的博客
03-27 858
DWM层双流join（订单表和订单明细表join） 官方文档: https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/stream/operators/joining.html 代码实现： package com.yyds.app.dwm; import com.alibaba.fastjson.JSONObject; import com.yyds.bean.OrderDetail; import com.yyds.bean.O
数据仓库之【商品订单数据数仓】02：【dwd层】
weixin_40612128的博客
03-12 872
数据仓库之【商品订单数据数仓】02：【dwd层】
数据仓库之【商品订单数据数仓】12：项目优化
weixin_40612128的博客
03-13 269
数据仓库之【商品订单数据数仓】12：项目优化
数据仓库项目（第五节）数仓理论、电商业务数仓介绍与创建
hwq317622817的博客
02-08 686
目录数仓理论表的分类实体表维度表事务型事实表周期型事实表同步策略实体表同步策略维度表同步策略事务型事实表同步策略周期型事实表同步策略范式理论范式概念函数依赖三范式区分关系建模与维度建模关系模型维度模型雪花模型、星型模型和星座模型电商业务数仓介绍电商业务流程电商表结构电商常识（SKU、SPU）订单表（order_info）订单详情表（order_detail）商品表用户表商品一级分类表商品二级分类表商品三级分类表支付流水表电商业务数仓创建业务数据生成业务数据导入数仓sqoop导入数据的脚本ODS层表的同步策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值