企业级大数据项目【3】数仓-流量域DWD-DWS开发篇

最新推荐文章于 2025-04-22 09:14:34 发布
最新推荐文章于 2025-04-22 09:14:34 发布
阅读量3.2k 收藏 16
点赞数 5
分类专栏： 多易教育-大数据综合项目实操手册 文章标签： 大数据 数据分析 数据仓库 spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coderblack/article/details/112919084
版权

1DW层整体设计

建模思想：
DWD：放明细数据
DWS：数仓服务层；它的建模思想，就是为最终需求计算来提供支持服务，所以建模相对灵活

常见的建模套路有：
1.建大宽表（对应：维度建模思想中的维度退化）
2.轻度聚合
3.看具体需求（如，用户连续活跃区间记录表）

1.1技术选型概述

存储：HDFS
运算：HIVE/SPARK

1.2输入输出

数仓内部

输入dwd层事实表及dim层维度表
输出dws层聚合表

1.3主题模型举例

流量会话聚合天/月表
日新日活维度聚合表
事件会话聚合天/月表
访客连续活跃区间表

新用户留存维度聚合表
运营位维度聚合表
渠道拉新维度聚合表
访客分布维度聚合表

用户事件链聚合表（支撑转化分析，高级留存分析，）

2全局访客id表

需求：记录全局到目前为止出现过的所有guid，并且带一个自增的id
在这里插入图片描述

dwd.user_guid_global

计算的源表：

  • 设备账号 关联评分表
设备，账号，评分，首访时间，最近时间
device01,account01,2000,t1,t8
device01,account02,1000,t2,t8
device02,account03,2000,t1,t8
device04,account04,2000,t1,t8
device05,\NULL  ,\N,  t1,t8

实现逻辑
用T日的设备关联表，来获取所有guid，去LEFT JOIN T-1日的全局id表，获得T日新增guid

然后插入全局id表的T日分区，并带上row_number +（T-1的id最大值）

3基础指标分析主题

3.1会话聚合表

页面浏览事件的：一次会话一行
在这里插入图片描述

表名： dws.tfc_app_agr_session

Hive的向量化执行引擎，对parquet的支持尚不完善，如果报向量化相关的错误，可关闭向量化执行： SET
hive.vectorized.execution.enabled=false

3.2支撑的ADS报表

可以支撑的报表分析举例：

  • PV/UV[DAU]/DNU概况日报表，周报表，月报表
Pv日报表：  日期，pv总数
Uv日报表：  日期，uv总数
DNU日报表：  日期，nu总数


Pv周报表：  日期，周pv总数
Uv周报表：  日期，周uv总数
DNU周报表：  日期，周nu总数

  • 访问次数分析
    在这里插入图片描述

  • 访问深度分析
    在这里插入图片描述

  • 访问时长分析
    在这里插入图片描述

  • 访问入口页分析
    在这里插入图片描述

  • 访问跳出页分析
    在这里插入图片描述

  • 回头访客数分析
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 不同时段流量对比分析
    在这里插入图片描述

不同地域的流量情况

不同地域的访问次数情况

不同地域的新、老用户分布情况

不同手机型号的活跃用户数

3.3补充：多维数据立方体cube

3.3.1概述
实际生产中，各种指标的报表统计，往往都会涉及到多维分析
，比如，统计日活数，日会话次数，日回头访客数，日新，日用户平均访问时长，访问深度……都可以从如下维度来进行分析：
时间段
省市区等地域维度
设备类型
操作系统
App版本
App下载安装渠道
……
而数据分析师，可能会提出各种各样的“维度组合”下的指标统计需求：
，比如：
省，日活总数
省，市，日活总数
手机型号，日活总数
省，手机型号，日活总数
……
如果上述维度分析需求，都逐个开发计算sql（逐个去group by聚合），工作繁冗！
那么，如何解决这个问题呢？

关键要点：

  1. 创建一个统一的目标维度分析聚合结果表，这个表应该包含所有的维度字段
  2. 利用hive的高阶聚合函数，在一个sql中，即可计算出所有可能的维度组合

3.3.2Cube表模型
在这里插入图片描述

这种表，在业内通常被称之为： cube （多维数据立方体）

  • 一个小问题：如果我要从上面的表中，获取到 各省份日活数，如何获取？
SELECT
province,
dau_cnt
FROM cube
WHERE province is not null  and coalesce(city,district,devicetype,osname,....) is null
;
  • 另一个小概念：维度的基数

上述表的行数很大；
比如按**（省、市、区、手机型号、app版本、下载渠道、小时段）维度组合计算日活数，结果行数有： 省维度的基数 * 市维度的基数 * 区维度的基数 * ……

基数： 就是某个维度字段的去重值个数！

3.3.3高阶聚合函数
基础写法：

INSERT INTO TABLE cube
SELECT
province,
city,
district,
null as device_type,
null as os_name,
null as app_version,
null as release_channel,
null as hour_segement,
dount(distinct guid) as dau_cnt
FROM  t_src
GROUP BY province,city,district

这种写法，要完成上面的数据立方体的完整计算，需要些2的8次方个sql
显然要命！

改用hive的高阶聚合函数，则一个sql搞定！别人加班，我陪女友

  • With cube函数
INSERT INTO TABLE cube
SELECT
province,
city,
district,
device_type,
os_name,
app_version,
release_channel,
hour_segement,
count(distinct guid) as dau_cnt
FROM  t_src
GROUP BY
province,
city,
district,
device_type,
os_name,
app_version,
release_channel,
house_segment
WITH CUBE
;
  • Grouping sets函数

由用户自己决定需要哪些维度组合

INSERT INTO TABLE cube
SELECT
province,
city,
district,
device_type,
os_name,
app_version,
release_channel,
hour_segement,
count(distinct guid) as dau_cnt
FROM  t_src
GROUP BY 
province,
city,
district,
device_type,
os_name,
app_version,
release_channel,
house_segment
GROUPING SETS(
(),
(province),
(province,city),
(province,city,district),
(device_type),(province,device_type)
)
;
  • with rollup函数

主要针对层级维度的组合处理

INSERT INTO TABLE cube
SELECT
province,
city,
district,
device_type,
os_name,
app_version,
release_channel,
hour_segement,
count(distinct guid) as dau_cnt
FROM  t_src
GROUP BY province,city,district
WITH ROLLUP
;

3.4流量用户聚合表（日活表）

在这里插入图片描述

3.5流量基础指标多维报表

3.5.1需求

  • 度量值

pv数
uv数
session数
访问时长
回头客数
跳出次数（只访问了一个页面就结束的会话）
跳出人数

  • 维度

地域维度
时段维度
手机型号维度
操作系统维度
入口页面维度
跳出页面维度
新老属性维度

3.5.2模型设计
目标表模型：
在这里插入图片描述

3.6利用bitmap思想实现distinct的层级聚合

用户聚合表

"1,江苏省,南通市,下关区",
"1,江苏省,南通市,下关区",
"2,江苏省,南通市,下关区",
"2,江苏省,南通市,白领区",
"3,江苏省,南通市,白领区",
"3,江苏省,南通市,富豪区",
"1,江苏省,苏州市,园林区",
"1,江苏省,苏州市,园林区",
"4,江苏省,苏州市,虎跳区"


base cuboid
省，   市，    区，   人数（bitmap）
江苏省,南通市,下关区, [1,1,0,0]
江苏省,南通市,白领区, [0,1,1,0]  
江苏省,南通市,富豪区, [0,0,1,0]  
江苏省,苏州市,园林区, [1,0,0,0]  
江苏省,苏州市,虎跳区, [0,0,0,1]  



省，    市，    人数（bitmap）
江苏省,南通市,  [1,1,1,0]   
江苏省,苏州市,  [1,0,0,1]


省，      人数（bitmap）
江苏省,   [1,1,1,1]

逐级聚合（去重聚合计算）

在具体实现上，我们项目中采用了一个第三方的bitmap工具包：RoaringBitmap
然后为其开发了一系列的工具：

  • array[Int] -> bitmap
  • bitmap序列化
  • bitmap反序列化
  • bitmap的UDAF实现分组聚合or运算
  • bitmap求基数的UDF

3.7可以支撑的报表分析举例

比如，各类用户分布分析
新老访客占比
在这里插入图片描述

访客app版本分布
在这里插入图片描述

访客地域分布
在这里插入图片描述

访客手机型号分布
在这里插入图片描述

4事件概况分布分析

在这里插入图片描述

首先做一个中间层的表（dws.event_overview_d），从DWD事件明细表中计算即可

日期，GUID，事件名称，发生次数

然后，查询分析师想看的报表：

日期，事件，发生总人数，发生总次数，1-10次的人数，10-20次的人数，20-30次的人数，30+人数

5事件多维分析

5.1交互事件主题

在dws层，我们的各种终端渠道的数据，就可以汇总到一起

| share    | {"pageId":"528","productId":"960","title":"mzH Zlm djr","url":"tFA/XSB","shareMethod":"微博"} |
| share    | {"pageId":"310","productId":"272","title":"KpB LEt TMI","url":"jro/RzJ","shareMethod":"微博"} |
| share    | {"pageId":"388","productId":"885","title":"Hsq Pcx bCi","url":"FNK/AHX","shareMethod":"微博"} |

  • 分享事件，主题明细表
    在这里插入图片描述

  • 点赞事件，主题明细表
    在这里插入图片描述

  • 收藏事件，主题明细表
    在这里插入图片描述

可以支撑的报表分析举例：
各栏目x事件发生次数
各栏目x事件发生人数

各item、各品类，各分享平台的发生次数
各item各分享平台发生人数

日点赞item排行榜（次数、人数）
日收藏item排行榜（次数、人数）

5.2广告运营位曝光点击分析主题

广告运营位：页面上放广告的位置；比如（首页中心轮播图，首页中心轮播图侧边栏……）
当你打开一个页面，划到页面上的某一屏，这一屏上的运营位上的埋点代码，就会发送运营位广告曝光事件，如果被点击，还会发送运营位广告点击事件

在这里插入图片描述

可以支撑的报表分析举例：

X运营广告位日曝光量
X运营广告位曝光量分时趋势分析
X运营广告位点击量
X运营广告位点击量分时趋势分析

X广告系列曝光量分时趋势分析
X广告系列点击量分时趋势分析
……

5.3站外投放广告分析主题

站外广告投放效果分析的数据跟踪原理：
在这里插入图片描述
在这里插入图片描述

可以支撑的报表分析举例：
渠道投放引流效果分析
渠道拉新分析
各渠道投放引流量分析
各渠道投放引流量拉新数量分析
……

5.4优惠券分析主题

在这里插入图片描述

可以支撑的报表分析举例：
优惠券领取次数人数分析
优惠券分时段领取趋势变化分析
……

5.5红包分析主题

在这里插入图片描述
在这里插入图片描述

红包领取次数、人数分析
红包分时段领取趋势变化分析

6用户活跃度分析主题 [方案一]

6.1中间表设计：连续活跃区间记录

  • 用户连续活跃区间记录（类似拉链表）

在这里插入图片描述

这个表的核心思想： 记录着每个人的每天活跃信息，但是又不用每天都存储一条记录！

6.2可以支撑的报表分析举例

  • 最近一个月内，有过连续活跃10+天的人
  • 最近一个月内，每个用户的平均活跃天数
  • 最近一个月内，连续活跃[1-10)天的人数，[10-20)天的人数，[20+ 天的人数
  • 任意指定的一段日期范围内，连续活跃5+天的人（比如，12-01,12-02,12-03连续3天活跃的人）
  • 最近30天内，沉默天数超过3的有多少人，超过5天有多少人
计算日期			月份		10天内人数		20天内人数	30天内人数
2020-10-20		10	     100000				8000		0
2020-10-21		10	     100020				8020		100

CREATE TABLE ads17.app_useract_stat_m(
calc_date          string,
month             string,
continuous_5days   int,   -- 本月内连续活跃>=5天的人数
continuous_7days   int,   -- 本月内连续活跃>=7天的人数
continuous_14days  int,   -- 本月内连续活跃>=14天的人数
continuous_20days  int,
continuous_30days  int
)
STORED AS  PARQUET
;
-- 计算 --
WITH tmp AS (
SELECT
  guid,
max(datediff(if(rng_end='9999-12-31','2020-10-07',rng_end),if(rng_start<'2020-10-01','2020-10-01',rng_start))+1) as max_continuous_days
FROM dws17.app_useract_range
WHERE dt='2020-10-07' AND rng_end >= '2020-10-01'
GROUP BY guid
)

/*
+---------------+------------------+
|     guid        | continuous_days   |
+---------------+------------------+
| 0TaMafscth6X  | 1                   |
| 1ANCwzVmNPZo  | 1                   |
| 1hyVlok7H49P  | 5                   |
| 1iCCizS18Us0  | 1                   |
| 1kFxP0IfmhSf  | 6                   |
| 1ly5nTS29obZ  | 1                 |
| 2KiHc1ur1hEG  | 1                 |
| 2MSQj5R4ITn3  | 1                 |
| 2OOMY1MjfK89  | 10                |
| 2Q5lMJtXYuQX  | 25                |
+---------------+------------------+
*/

INSERT INTO TABLE ads17.app_useract_stat_m

SELECT
'2020-10-07'								as calc_date,
month('2020-10-07')						as month,
count(if(max_continuous_days>=5,1,null))	as continuous_5days  ,   -- 本月内连续活跃>=5天的人数
count(if(max_continuous_days>=7,1,null))	as continuous_7days  ,   -- 本月内连续活跃>=7天的人数
count(if(max_continuous_days>=14,1,null))	as continuous_14days ,   -- 本月内连续活跃>=14天的人数
count(if(max_continuous_days>=20,1,null))	as continuous_20days ,
count(if(max_continuous_days>=30,1,null))	as continuous_30days 
FROM tmp
;
  • 最近一周内，…
  • 最近一个月内，最大沉默天数超10天的，20天的，30天的人 …

6.3DWS层连续活跃区间表开发

  • 核心计算逻辑
    在这里插入图片描述

  • 代码开发

6.4扩展：加上维度分析需求呢？

在这里插入图片描述

连续活跃区间记录表中，已经丢失了用户的行为详细数据，已经获取不到用户的相关维度属性；
直接通过该表，无法得出 “维度分析”需求的结果；

可以按如下方案设计：

在全局的层面上的，为所有用户维护一张“维度信息表”

GUID,   省   ,市    ，区  ，设备型号 ， 首访日期， 年龄， 性别，  会员等级



我所要的维度字段值全在一张表中，在统计分析时，中心表 只要关联 一级  维表，即可得到所有维度字段

在这里插入图片描述
星型模型

这张维表，也可以做成如下结构：

①用户属性表：
Guid ,   地域码，  设备型号码，  会员等级id
G01     001010    dv101903        2


②设备信息维表：
设备型号码   设备型号名称   操作系统   品牌名称   
dv101903        小米6plus     android     小米
dv101904        红米note8     android     红米


③会员等级维表
等级id     等级名称   
1          白银会员
2          黄金会员
3          钻石会员

④地域信息维表
地域码     省       市        区
001010   广东省   佛山市    富人区

在这里插入图片描述

                                   雪花模型

上述两种模型，都属于“维度建模”思想！！

如果，维表中的数据，很少发生变化，则使用“星型模型”更方便（join 少）
如果，维表中的数据，变化比较频繁，则使用“雪花模型”更恰当，因为雪花模型中的维表更符合三范式原则，更新维护更方便灵活！

7用户活跃度分析主题 [方案二]

7.1概述

第3章中的模型设计方案，好处很明显：

  • 可以很方便地进行任意指定日期范围内的用户活跃分析
  • 从该表进行各种用户活跃报表统计分析都十分方便和快捷

弊端也有：不够高级！

本章提供另一种更“高级”的方案：

借鉴bitmap数据结构的思想，来实现用户活跃分析的中间表模型

7.2bitmap思想的中间层

在这里插入图片描述

表中的bit数组字段：

  • 脚标，代表距“now day”的天数，比如，

第1个bit，就是距当天0日前；
第2个bit，就是距当天1日前；
……

  • value值，代表用户在该脚标所指示日期上的活跃状态，0表示没有活跃，1表示有活跃
该表的本质： 记录了最近N天（30）内，每个用户的每天的活跃状态；
形式简单直观；存储效率高！

7.3中间层bitmap表开发

1.初始化历史活跃数据成为bit串
比如，今天是2020-12-19，需要初始化 （2020-12-18）-30 ==》 2020-12-18 的bit串
得到形如： g01 --> 100101011010111101101001010110

核心计算表达式：sum(cast(pow(2,datediff('2020-11-18',dt)
reverse(lpad( cast(bin(sum(cast(pow(2,datediff('2020-11-18',dt)) as bigint))) as string) ,31,'0' ))

2.bit串的每日滚动更新计算

前日： g01 --> 100101011010111101101001010110
今天： g01活跃了
今天的结果：g01 --> 1100101011010111101101001010110

T+1日，用户没活跃，则如下更新：
select bin(1073741823 & cast(conv('111111111111111111111111111111',2,10)*2 as int));

T+1日，用户活跃，则如下更新：
select bin(1073741823 & cast(conv('111111111111111111111111111111',2,10)*2+1 as int));

8新用户留存分析主题

8.1需求概念

留存：通常指在X日发生某行为A后，在Y日后又发生了行为B
比如，新用户留存，则指X日发生行为A（首次到访）后，在Y日又发生了B（活跃/到访）行为

8.2查询需求

查询任意指定时间窗口内的，任意一天的新用户的次日、2日、3日、……留存

如下，为一个典型的“新用户留存”分析表
在这里插入图片描述

计算要点：

  • 每日滚动计算
  • 每天计算“x日->计算日” 的留存数即可

8.3中间服务表开发（聚合表）

上述横表形式的报表不方便直接计算，可设计如下纵表（竖表）作为中间表

  • dws.retention_newuser_active
    在这里插入图片描述

  • 代码开发

9漏斗模型分析主题

  • 漏斗模型概念：

漏斗模型，是用来分析业务转化率的！

分析师（需求方）定义的一种业务路径，用户沿着这个路径上的各个步骤，不断走向业务目标；
路径上的各个步骤，人数通常是会逐步递减，形如一个漏斗；
把这种分析形象地称呼为：漏斗模型分析；

在这里插入图片描述

比如，分析师定义了一个业务路径：搜购

步骤1： 搜索（搜索词为：手机）
步骤2： 点击了一个搜索结果中的商品
步骤3： 将搜索结果中的商品添加到了购物车
步骤4： 提交订单
步骤5： 支付订单

比如，分析师定义了一个业务路径：秒购

步骤1： 点击了秒杀运营位广告
步骤2： 点击了广告落地页中的促销商品
步骤3： 订阅了这个商品的秒杀通知

dws.app_ld_compstep
在这里插入图片描述

可以支撑的报表分析举例：

  • 搜索购买

–搜索
–点击详情
–添加购物车
–提交订单
–支付订单

  • 收藏购买

–收藏商品
–添加购物车
–提交订单
–支付订单

10事件归因分析

在做一些运营活动，广告投放后，都需要去评估活动或者广告的效应；
我们的销量、拉新等业务目标，在广告投放或者运营活动组织后，有了明显的提升，但是这些提升是否是因为广告、运营活动导致的，需要有数据支撑！
这些数据分析，就属于 事件归因分析 的范畴！

而归因分析，又是一件非常复杂的运算；

有如下计算策略（模型）：

  • 首次触点归因：待归因事件中，最先发生的事，被认为是导致业务结果的唯一因素
  • 末次触点归因：待归因事件中，最近发生的事，被认为是导致业务结果的唯一因素
  • 线性归因：待归因事件中，每一个事件都被认为对业务结果产生了影响，影响力平均分摊
  • 位置归因：定义一个规则，比如最早、最晚事件占40%影响力，中间事件平摊影响力
  • 时间衰减归因：越晚发生的待归因事件，对业务结果的影响力越大
    在这里插入图片描述

11事件间隔分析

在这里插入图片描述

12用户行为画像

12.1用户活跃概况属性标签

（近30日）
在这里插入图片描述

12.2用户交互事件属性标签

在这里插入图片描述

计算方法：
首先，从事件明细表中，按照 用户+事件 分组，count出事件的次数，得到如下结果

g01,dz,5
g01,sc,10
g01,zf,20
g01,hp,10
g01,cp,8

然后，将上面的竖表，转成横表（利用collect_list和str_to_map）

with tmp as (
select
guid,
str_to_map(concat_ws(',',collect_list(concat_ws(':',eventid,cnt))),',',':') as mp
from (
  select
   guid,
   eventid,
   count(1) as cnt
  from  明细表
  group by guid,eventid
) o
group by guid

然后在这个结果上，去按照目标表的字段顺序取值即可：

select
guid,
mp['点赞'] as 点赞,
mp['收藏'] as 收藏,
mp['转发'] as 转发,
mp['分享'] as 分享,
……
from tmp

12.3用户购物事件属性标签

在这里插入图片描述

12.4用户运营位事件属性标签

在这里插入图片描述

数仓(三)：分层设计 ODS-DWD-DWS-ADS
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
大数据FLINK实时数仓项目实战
悦分享
10-06 8033
普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 原始数据，日志和业务数据 。根据数据对象为单位进行分流，比如订单、页面访问等等。维度数据。对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。根据某个主题将
5.3 离线数仓—DWS层流量域汇总表设计实现
yunweijie_cn的博客
03-02 627
DWS层设计开发前言一、流量域会话粒度页面浏览汇总表1.最近1日汇总表1.1 建表语句1.2 数据装载二、流量域访客页面粒度页面浏览汇总表1.最近1日汇总表1.1 建表语句1.2 数据装载2.最近n日汇总表2.1 建表语句2.2 数据装载 前言 前面完成了交易域DWS层设计开发，下面进行流量域相关表的设计和开发。 一、流量域会话粒度页面浏览汇总表 1.最近1日汇总表 1.1 建表语句 说明：这里必须要做维度退化操作 DROP TABLE IF EXISTS dws_traffic_session_page
数据仓库ODS、DWD、DWS、ADS各层介绍
最新发布
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
04-22 2964
1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 3866
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
数仓开发之DWD层（三）
JiaXingNashishua的博客
11-17 2831
（附：由于篇幅原因，这里就不在展示代码了，直接告诉大家思路）
Flink 实时数仓（七）【DWS 层搭建（一）流量域汇总表创建】
功不唐捐，玉汝于成
08-05 1328
Flink 实时数仓，流量域汇总表创建：流量域来源关键词粒度页面浏览各窗口汇总表，流量域版本-渠道-地区-访客类别粒度页面浏览各窗口汇总表
数据仓库-流量域-007
Code365
07-09 568
DATEDIFF(TO_DATE('${bizdate}','yyyymmdd'),TO_DATE(t1.date_id,'yyyymmdd'),'dd') AS stay_seq_cnt --新增活跃间隔天数。,COUNT(DISTINCT t1.dvc_id) as act_dvc_cnt --活跃用户数。,COUNT(DISTINCT t1.dvc_id) as act_dvc_cnt --活跃用户数。tmp.act_dvc_cnt --活跃用户数。
大数据项目离线数仓（全 ）二（数仓系统）
qq_55906442的博客
05-28 3238
一、数据仓库系统 1.1基础概念 3.1.1数据分层的好处 1.把复杂问题简单化，将复杂的任务分解成多层来完成，每一层只处理简单任务，方便定位问题。 2.减少重复开发，规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 3.隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。 3.1.2数据分层 ODS：原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。 DWD：对ODS层数据进行清洗(去除空值,脏数据,超过极限范围
大数据面试题--数仓
热门推荐
weixin_42759988的博客
02-22 1万+
目录 数据仓库理论 数据分层 E T L 星形模型与雪花模型的区别？ 维度建模（dimensional modeling）： 数据仓库项目最重要或需要注意的是什么，以及如何处理？ 关系建模与维度建模 拉链表： 维度表和事实表 数据仓库中的维度和粒度 维度建模步骤： 如何构建数据仓库？ Flink面试题 Flink的重启策略： Flink集群规模 Flink 集群有哪些角色？各自有什么作用？ TODO说说 Flink 资源管理中 Task Slot 的概念 说说 Fli
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2633
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
大数据分层存储架构：ODS、DWD、DWM与DWS详解
weixin_41544125的博客
04-08 5272
通过这种分层存储结构，大数据系统可以更好地满足不同层次的数据需求，提高数据处理和分析的效率。同时，各层之间的数据流动和交互也变得更加清晰和可控，有助于减少数据冗余和错误，提高数据质量。在大数据领域中，ODS、DWD、DWM和DWS代表了数据仓库的不同层次，它们共同构成了大数据的分层存储结构。这种结构的设计有助于提高数据查询效率，降低成本，并满足不同的业务需求。需要注意的是，具体的分层结构和命名可能因不同的公司或项目而有所差异，但总体的设计思路和原则是一致的。
数仓分层设计架构 详解-ODS-DWD-DWS-ADS
JanLEE
07-10 4900
一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。分层意义1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单来讲可以这样理解
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 3960
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
数据仓库中的DWD DWB DWS
weixin_34198762的博客
09-09 1128
2019独角兽企业重金招聘Python工程师标准>>> ...
数仓笔记（五）-DWD层，DWS层
m0_63475429的博客
09-18 1011
1）map结构数据定义2）array结构数据定义3）struct结构数据定义4）struct和array嵌套定义。6.1.3 启动日志表 思路解析：启动日志表中每行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来，然后使用get_join_object函数解析每个字段
Flink实时数仓项目—DWS层设计与实现
yunweijie_cn的博客
04-22 2738
Flink实时数仓项目—DWS层设计与实现前言三、DWS层—地区主题表的实现1.地区主题需求2.地区主题表实体类的设计2.1 维度字段2.2 度量字段2.3 其他字段3.功能实现3.1 获取表环境3.2 DDL读取数据3.3 开窗分组聚合统计3.4 写入ClickHouse4.ClickHouse表的创建四、DWS层—关键词主题表的实现1.关键词主题需求2.分词说明3.实体类的创建4.功能实现4.1 IK分词器的使用4.2 自定义函数4.3 编写主程序5、ClickHouse表的创建 前言 前面使用Dat
项目总结 一 (概要设计与流量域)
m0_46570085的博客
08-17 706
我们公司使用的项目是一个大数据运营系统,主要类型是一些电商平台的运营系统,我主要是负责项目架构的总体设计和技术调研, 数据处理分析代码开发,需求沟通,集群搭建,平台集群监控以及数据平台的相关调优等 我在公司主要做etl开发,dwd层到dws层开发业务的,我在里面主要是做数据平台开发,项目的整体大概是这样的 1.1日志采集和业务数据抽取 项目在pc端和app端进行埋点采集日志,埋点数据按主题生产到kafka 的topic里面,项目当时日志采集用的是flume消费kafka(kafka的ac...
【数据开发】DW数仓分层设计架构与同步策略（ODS、DWD、DWS等字段含义）
小哈里的博客
10-04 2657
文章目录 1、什么是数据仓库（DW） 2、DW分层设计架构（ODS，DWD，DWS） 3、数仓同步策略 1、什么是数据仓库（DW） Data warehouse（可简写为DW或者DWH）数据仓库是什么？ 是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值