Flink典型ETL场景(好文点赞收藏!!)

1-关联维表

1.1-预加载维表

实现RichMapFunction,在open方法中读取数据库中的维度数据全量加载到内存中

优点:简单
缺点:适用于数据量小的维表

1.2-热存储维表

将维度数据存储待hbase或者redis中,通过异步IO查询热存储,利用cache机制将维度数据缓存在内存

优点:支持较多的维度数据
缺点:维度更新有延迟

1.3-广播维表

利用broadcast state将维度数据流广播出去

优点:维度变更可及时更新结果
缺点:数据保存在内存中,支持的数据量比较小

2-双流join

2.1-window join

2.1.1-Tumbling Window Join

在这里插入图片描述

import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
 
...

DataStream<Integer> orangeStream = ...
DataStream<Integer> greenStream = ...

orangeStream.join(greenStream)
    .where(<KeySelector>)
    .equalTo(<KeySelector>)
    .window(TumblingEventTimeWindows.of(Time.milliseconds(2)))
    .apply (new JoinFunction<Integer
<think>嗯,用户想了解大数据数仓中的DWD、DWS、ADS层的区别,特别是DWS层的宽表特性。首先,我需要回顾一下数仓分层的概念,确保自己理解正确。根据用户提供的引用内容,数仓通常分为ODS、DWD、DWS、DWT、ADS等层。用户主要关注的是DWD、DWS、ADS这三层的区别,以及DWS层的宽表特性。 首先,DWD层是数据明细层,引用[1]提到DWD层做了数据清洗、规范化、维度退化等工作。这意味着DWD层的数据是干净的、结构化的,并且可能已经关联了一些维度信息,但仍然是明细数据,没有聚合。例如,订单表中的每个订单记录可能包含用户ID、商品ID等,但需要关联用户和商品维度表才能获得更多信息。 接下来是DWS层,即服务数据层。根据引用[3],DWS层处理的是汇总数据,比如用户行为的各种次数和金额。用户提到的宽表特性应该是在这一层实现的。宽表通常是指将多个相关的事实表和维度表进行关联,生成一张包含大量字段的表,以减少后续查询时的连接操作。例如,用户的行为数据(登录、点赞、下单等)可能被汇总到一张宽表中,每个用户对应一行,包含多个指标字段。 然后是ADS层,即应用数据层。引用[1]指出ADS层对接具体应用需求,提供高度聚合的数据。这意味着ADS层的数据已经是高度汇总的,可能直接用于报表、BI工具或API接口。例如,某个应用需要展示每日销售总额,ADS层可能已经预先计算好了这些数据,以便快速查询。 现在需要明确这三层的区别。DWD层是明细数据,经过清洗和规范化;DWS层是汇总数据,形成宽表以减少关联操作;ADS层是针对具体应用的聚合数据。DWS层的宽表特性主要体现在其维度整合和指标预聚合上,比如将用户的各种行为指标整合到一张表中,方便后续分析。 用户可能是在学习数仓设计,或者正在准备面试,需要清晰理解各层的职责。需要确保回答结构清晰,对比明确,并举例说明宽表的应用场景。同时,需要参考提供的引用内容,确保信息准确,比如引用[2]提到实时计算层使用Flink处理ETL,可能影响DWD层的实时数据处理方式,但用户的问题主要集中在离线数仓的分层,所以可能不需要深入实时处理部分。 另外,用户可能存在的疑问包括:为什么需要分层?各层如何协作?宽表的设计原则是什么?是否所有数仓都需要这些层?需要简明扼要地解答这些潜在问题,但用户当前的问题集中在区别和宽表特性,应优先回答这些,再通过相关问题拓展。 需要检查是否有遗漏的关键点,比如DWT层(主题数据层)是否与DWS层有重叠,但根据引用[1],DWT层可能更偏向主题的聚合,而DWS是汇总层,可能在粒度上有所不同。不过用户没有提到DWT,所以可以暂时忽略,专注于用户提到的三层。 最后,确保回答符合格式要求,使用中文,行内公式用$...$,独立公式用$$...$$,但用户的问题不涉及数学公式,可能不需要使用。引用标记需要正确,比如引用[1]、[2]、[3]在适当的位置。例如,在解释DWD层时引用[1]提到的清洗和规范化,DWS层引用[3]的汇总操作等。</think>### 大数据数仓分层详解:DWD、DWS、ADS 的区别与 DWS 层宽表特性 #### 一、核心分层对比 | 层级 | 名称 | 数据粒度 | 核心职责 | 典型场景示例 | 引用来源 | |------|---------------------|----------------|--------------------------------------------------------------------------|----------------------------------------------------------------------------|----------| | DWD | 数据明细层 | **原子粒度** | 清洗脏数据、规范化字段、维度退化(如将用户 ID 关联到用户信息) | 原始订单表 → 清洗后订单表(含用户基础信息、商品基础信息) | [^1][^3] | | DWS | 服务数据层 | **主题粒度** | 按主题域预聚合、构建宽表(多维度整合)、生成公共指标 | 用户行为宽表(含登录次数、点赞次数、下单金额等跨业务线指标) | [^3] | | ADS | 应用数据层 | **应用粒度** | 按业务需求定制化聚合(如报表、接口、算法特征) | 大屏展示的日活用户数、营销活动 ROI 分析表 | [^2] | #### 二、DWS 层的宽表特性详解 1. **宽表定义** 宽表是通过 **多表关联 + 指标预计算** 生成的宽维度表,通常包含以下特征: - **字段冗余度高**:整合 10+ 个维度(如时间、地域、用户属性) - **指标聚合度深**:预计算留存率、转化漏斗等复杂指标 - **查询性能优化**:通过空间换时间减少 JOIN 操作 2. **设计原则** ```sql -- 示例:用户行为宽表(DWS 层) CREATE TABLE dws_user_behavior_wide ( user_id STRING COMMENT '用户ID', dt STRING COMMENT '日期', -- 维度字段(冗余存储) age_group STRING COMMENT '年龄段', city STRING COMMENT '所在城市', -- 行为指标(预聚合) login_count BIGINT COMMENT '当日登录次数', order_amount DECIMAL(18,2) COMMENT '当日下单总金额', cart_add_count BIGINT COMMENT '加购次数' ) PARTITIONED BY (dt); ``` - **维度整合**:将用户画像、商品类目等维度退化到事实表中[^1] - **时间周期**:按天/周/月等固定周期聚合(如 `dt` 分区字段)[^3] - **业务域划分**:按用户、商品、交易等主题域构建独立宽表[^2] 3. **技术价值** - **查询提速**:BI 工具直接查询宽表,响应时间从分钟级降至秒级[^2] - **计算资源节省**:避免重复计算公共指标(如日活用户数被多个应用复用) - **数据一致性**:通过统一加工逻辑消除指标二义性(如 GMV 的计算口径) #### 三、分层协作流程图解 ``` 原始数据 → ODS层(原始存储) ↓ ETL清洗 DWD层(明细数据) ↓ 维度关联 + 轻度汇总 DWS层(宽表) ↓ 业务定制聚合 ADS层(应用数据) ↓ 服务接口/报表 最终应用 ``` #### 四、典型场景差异示例 1. **DWD 层数据** ```json { "order_id": "202311010001", "user_id": "u123", "item_id": "i456", "price": 299.00, "status": 2, "create_time": "2023-11-01 10:00:00" } ``` - 特点:保留原始交易明细,含未关联的 `user_id`/`item_id` 外键[^3] 2. **DWS 层宽表** ```json { "user_id": "u123", "dt": "2023-11-01", "city": "北京", "age": 25, "total_order_amount": 1500.00, "daily_login_count": 3 } ``` - 特点:按用户-日期维度聚合,整合用户属性和行为指标[^1] 3. **ADS 层数据** ```json { "dt": "2023-11-01", "city": "北京", "age_group": "18-30", "gmv": 1200000.00, "active_user_count": 50000 } ``` - 特点:按城市-年龄段聚合,满足营销分析需求 --- ### 相关问题 1. **维度退化在 DWD 和 DWS 层的实现有何不同?** - DWD 层退化基础维度(如用户性别),DWS 层退化复杂维度(如用户生命周期标签) 2. **宽表是否会导致存储膨胀?如何平衡性能与成本?** - 通过列式存储(Parquet/ORC)压缩 + 生命周期管理(自动清理旧分区)优化 3. **实时数仓中 DWS 层宽表如何实现?** - 使用 Flink 动态关联维表(如 HBase) + 窗口聚合生成实时宽表[^2] [^1]: 数仓分层模型中各层的职责定义与数据加工逻辑 : 离线/实时数仓架构中宽表的技术实现与优化策略 : 用户行为分析场景下的宽表构建与指标设计实践
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值