大数据数仓实战项目（离线数仓+实时数仓）3

1.课程内容和课程目标

2.订单时间维度指标需求分析

根据时间数据，生成一个时间维度表，我们后面还可以去复用这个时间维度表

3.使用kettle生成日期维度数据

Hive创建日期维度表

使用Kettle构建以下组件结构图

使用kettle生成日期维度数据插入到我们的hive表中

我们这边是生成了365条（一年365天）空数据

增加序列就是加上行号

就是现在有365条数据，然后我们给他打上行号

我们从1接收数据，经过2的代码处理，以3的格式输出

上面就生成了2019年所有日期（365天所有的）的信息

上面的操作一般一年搞一次就行了

4.创建ads层数据表

创建ads层数据表

统计半年期间每个季度的销售订单笔数、订单总额

5.订单指标时间维度-每个月-每个周-休息日-节假日-工作日

统计2019年期间每个月的销售订单笔数、订单总额

6.订单指标区域维度和分类维度需求分析

需求分析

下面是组织结构表

我们的订单表和组织结构表之间没有直接的关联（绿色）

我们要将其一层层连起来

下面是商品订单表

我们的商品订单表和组织结构表之间同样没有直接的关联（蓝色）

我们要将其一层层连起来

创建 dw 层数据表

fact_order_goods_wide

dim_goods_cat

dim_shops

dim_payment

创建 ads 层数据表

7.店铺区域维度数据拉宽

ods层数据至dw层

dw层数据维度拉宽

数据维度表拉宽

区域店铺维度数据拉宽（dim_shops）

我们上面创建的dim_shops就是用来存放这个数据

将数据插入dim_shops表中

8.商品分类维度数据拉宽（dim_goods_cat）

9.事实表维度数据拉宽操作（fact_order_goods_wide）

插入之后

去hive里面查询一下，验证一下数据

10.全国无商品分类维度指标统计

支付方式维度表拉宽（dim_payment）

指标计算汇总计算

全国、无商品分类维度的交易信息

指标算好之后，我们要进行一个保存

我们创建一个ads层的表

11.全国一级商品分类维度指标开发

不分支付类型

分支付类型

12.大区一级商品分类维度指标统计

大区、一级商品分类维度交易信息

其余的就不讲了

13.用户订单行为指标需求分析

需求分析

创建dw层表

14.ETL处理-订单时间标志宽表处理

加载用户维度数据

将ods中itcast_users的user信息插入到上面创建好的dw中dim_user表中

时间近30天、90天、180天、订单上午、下午时间拉宽

表创建好以后

将数据插入

15.用户订单行为指标开发

16.指标开发第二部分

17.指标开发第四部分

18.创建ads层指标表存储数据