【实时数仓】Day04-DWS层业务：DWS设计、访客宽表、商品主题宽表、流合并、地区主题表、FlinkSQL、关键词主题表、分词...

一、DWS层与DWM设计

1、思路

之前已经进行分流

但只需要一些指标进行实时计算，将这些指标以主题宽表的形式输出

2、需求

访客、商品、地区、关键词四层的需求(可视化大屏展示、多维分析)

 

 3、DWS层定位

轻度聚合、主题中管理

二、DWS层-访客主题宽表的计算

DWS表主要包含维度表和事实表

维度表主要包括渠道、地区、版本、新老用户等

事实表主要包括PV、UV、跳出次数、进入页面数(session_count)、连续访问时长等

1、需求分析

合并接收到的数据流，按时间窗口聚合，并将聚合结果写入数据库

2、实现

(1)读取kafka各个流的数据

page_log、dwm_uv、dwm_jump_user跳出用户

(2)合并读取到的数据流