数仓搭建DWD层

最新推荐文章于 2025-07-12 23:08:19 发布
原创 最新推荐文章于 2025-07-12 23:08:19 发布 · 3.3k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #kafka #flume #zookeeper #hadoop

1、数仓DWD层

1）对用户行为数据解析。

2）对业务数据采用维度模型重新建模。

2、DWD层（用户行为日志）

2.1、日志解析思路

（1）页面埋点日志
请添加图片描述

（2）启动日志
请添加图片描述

解析思路
请添加图片描述

2.2、get_json_object函数使用

1）数据

[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]

2）取出第一个json对象

hive (gmall)>
select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');

3）取出第一个json的age字段的值

hive (gmall)>
SELECT get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]',"$[0].age");

结果是：25

2.3、启动日志表

启动日志解析思路：启动日志表中每行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

2.3.1、建表语句

DROP TABLE IF EXISTS dwd_start_log;
CREATE EXTERNAL TABLE dwd_start_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `entry` STRING COMMENT 'icon手机图标 notice 通知 install 安装后启动',
    `loading_time` BIGINT COMMENT '启动加载时间',
    `open_ad_id` STRING COMMENT '广告页ID ',
    `open_ad_ms` BIGINT COMMENT '广告总共播放时间',
    `open_ad_skip_ms` BIGINT COMMENT '用户跳过广告时点',
    `ts` BIGINT COMMENT '时间'
) COMMENT '启动日志表'
PARTITIONED BY (`dt` STRING) -- 按照时间创建分区
STORED AS PARQUET -- 采用parquet列式存储
LOCATION '/warehouse/gmall/dwd/dwd_start_log' -- 指定在HDFS上存储位置
TBLPROPERTIES('parquet.compression'='lzo') -- 采用LZO压缩
;

2.3.2、数据导入

请添加图片描述

hive (gmall)> 
insert overwrite table dwd_start_log partition(dt='2022-04-11')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.start.entry'),
    get_json_object(line,'$.start.loading_time'),
    get_json_object(line,'$.start.open_ad_id'),
    get_json_object(line,'$.start.open_ad_ms'),
    get_json_object(line,'$.start.open_ad_skip_ms'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2022-04-11'
and get_json_object(line,'$.start') is not null;
3）查看数据
hive (gmall)> 
select * from dwd_start_log where dt='2022-04-11' limit 2;

2.3.3、查看数据

hive (gmall)> 
select * from dwd_start_log where dt='2022-04-11' limit 2;

2.4、页面日志表

页面日志解析思路：页面日志表中每行数据对应一个页面访问记录，一个页面访问记录应该包含日志中的公共信息和页面信息。先将所有包含page字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

2.4.1、建表语句

DROP TABLE IF EXISTS dwd_page_log;
CREATE EXTERNAL TABLE dwd_page_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `during_time` BIGINT COMMENT '持续时间毫秒',
    `page_item` STRING COMMENT '目标id ',
    `page_item_type` STRING COMMENT '目标类型',
    `last_page_id` STRING COMMENT '上页类型',
    `page_id` STRING COMMENT '页面ID ',
    `source_type` STRING COMMENT '来源类型',
    `ts` bigint
) COMMENT '页面日志表'
PARTITIONED BY (`dt` STRING)
STORED AS PARQUET
LOCATION '/warehouse/gmall/dwd/dwd_page_log'
TBLPROPERTIES('parquet.compression'='lzo');

2.4.2、数据导入

hive (gmall)>
insert overwrite table dwd_page_log partition(dt='2022-04-11')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.page.during_time'),
    get_json_object(line,'$.page.item'),
    get_json_object(line,'$.page.item_type'),
    get_json_object(line,'$.page.last_page_id'),
    get_json_object(line,'$.page.page_id'),
    get_json_object(line,'$.page.source_type'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2022-04-11'
and get_json_object(line,'$.page') is not null;

2.4.3、查看数据

hive (gmall)> 
select * from dwd_page_log where dt='2022-04-11' limit 2;

2.5、动作日志表

动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。

2.5.1、建表语句

DROP TABLE IF EXISTS dwd_action_log;
CREATE EXTERNAL TABLE dwd_action_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `during_time` BIGINT COMMENT '持续时间毫秒',
    `page_item` STRING COMMENT '目标id ',
    `page_item_type` STRING COMMENT '目标类型',
    `last_page_id` STRING COMMENT '上页类型',
    `page_id` STRING COMMENT '页面id ',
    `source_type` STRING COMMENT '来源类型',
    `action_id` STRING COMMENT '动作id',
    `item` STRING COMMENT '目标id ',
    `item_type` STRING COMMENT '目标类型',
    `ts` BIGINT COMMENT '时间'
) COMMENT '动作日志表'
PARTITIONED BY (`dt` STRING)
STORED AS PARQUET
LOCATION '/warehouse/gmall/dwd/dwd_action_log'
TBLPROPERTIES('parquet.compression'='lzo');

2.5.2、创建UDTF函数

1）设计思路

请添加图片描述
在这里插入图片描述

2）编写代码

（1）创建一个maven工程：hivefunction
（2）创建包名：com.atguigu.hive.udtf
（3）引入如下依赖

<dependencies>
    <!--添加hive依赖-->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>3.1.2</version>
    </dependency>
</dependencies>

（4）编码

package com.atguigu.hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.json.JSONArray;

import java.util.ArrayList;
import java.util.List;

public class ExplodeJSONArray extends GenericUDTF {
   
   

    @Override
    public StructObjectInspector initialize(ObjectInspector[] argOIs) throws UDFArgumentException {
   
   

        // 1 参数合法性检查
        if (argOIs.length != 1) {
   
   
            throw new UDFArgumentException("explode_json_array 只需要一个参数");
        }

        // 2 第一个参数必须为string
        //判断参数是否为基础数据类型
        if (argOIs[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
   
   
            throw new UDFArgumentException("explode_json_array 只接受基础类型参数");
        }

        //将参数对象检查器强转为基础类型对象检查器
        PrimitiveObjectInspector argumentOI = (PrimitiveObjectInspector) argOIs[0];

        //判断参数是否为String类型
        if (argumentOI.getPrimitiveCategory() != PrimitiveObjectInspector.PrimitiveCategory.STRING) {
   
   
            throw new UDFArgumentException("explode_json_array 只接受string类型的参数");
        }

        // 3 定义返回值名称和类型
        List<String> fieldNames = new ArrayList<String>();
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();

        fieldNames.add("items");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    public void process(Object[] objects) throws HiveException {
   
   

        // 1 获取传入的数据
        String jsonArray = objects[0].toString();

        // 2 将string转换为json数组
        JSONArray actions = new JSONArray(jsonArray);

        // 3 循环一次，取出数组中的一个json，并写出
        for (int i = 0; i < actions.length(); i++) {
   
   

            String[] result = new String[1];
            result[0] = actions.getString(i);
            forward(result);
        }
    }

    public void close() throws HiveException {
   
   

    }

}
3）创建函数

（1）打包

（2）将hivefunction-1.0-SNAPSHOT.jar上传到h102的/opt/module，然后再将该jar包上传到HDFS的/user/hive/jars路径下

hadoop fs -mkdir -p /user/hive/jars
hadoop fs -put hivefunction-1.0-SNAPSHOT.jar /user/hive/jars

（3）创建永久函数与开发好的java class关联

create function explode_json_array as 'com.atguigu.hive.udtf.ExplodeJSONArray' using jar 'hdfs://h102:8020/user/hive/jars/hivefunction-1.0-SNAPSHOT.jar';

（4）注意：如果修改了自定义函数重新生成jar包怎么处理？只需要替换HDFS路径上的旧jar包，然后重启Hive客户端即可。

2.5.3、数据导入

insert overwrite table dwd_action_log partition(dt='2022-04-11')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'
最低0.47元/天 解锁文章
数仓实战04：数仓搭建-DWD层
qq_28286027的博客
08-19 968
1）对用户行为数据解析 2）对核心数据进行判空过滤。 3）对业务数据采用维度模型重新建模，即维度退化。 1.用户行为启动表数据解析 1.1创建启动表 1）建表语句 hive (gmall) > DROP TABLE IF EXISTS dwd_start_log; CREATE EXTERNAL TABLE dwd_start_log ( `mid_id` string, `user_id` string, `version_code` string, `version_name` st.
数据仓库实战教程
热门推荐
12-28 22万+
以hadoop 作为基础生态，从0到进行数仓建设，主要分为基础篇和实战篇两部分，基础篇主要是各种组件的学习和案例，实战篇主要是三家企业的数仓设计案例，最后是扩展篇主要是实时数仓。
离线数仓（八）【DWD 层开发】
功不唐捐，玉汝于成
03-27 2729
DWD层开发
电商数仓(dwd 层)
a1786742005的博客
05-01 8571
一、dwd 层介绍 1、对用户行为数据解析。 2、对核心数据进行判空过滤。 3、对业务数据采用维度模型重新建模，即维度退化。 二、dwd 层用户行为数据 2.1 用户行为启动表 dwd_start_log 1、数据来源 ods_start_log -> dwd_start_log 2、表的创建 drop table if exists dwd_start_log; CREATE EXTER...
数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS
qq_73181349的博客
08-01 3929
数仓分层，数据源层：ODS（Operational Data Store），数据仓库层：DW（Data Warehouse）、数据明细层：DWD（Data Warehouse Detail）、数据中间层：DWM（Data WareHouse Midddle）、数据服务层：DWS（Data WareHouse Service）、 数据应用层：ADS（Application Data Service）、 维表层：DIM（Dimension）
DWD层 （业务数据 二）
weixin_45417821的博客
11-01 396
文章目录退款事实表（累积型快照事实表）订单事实表（累积型快照事实表）DWD层业务数据首日装载脚本DWD层业务数据每日装载脚本 退款事实表（累积型快照事实表） 1）建表语句 DROP TABLE IF EXISTS dwd_refund_payment; CREATE EXTERNAL TABLE dwd_refund_payment ( `id` STRING COMMENT '编号', `user_id` STRING COMMENT '用户ID', `order_id` STRI
9. 数仓开发之 DWD 层
记录点点滴滴
03-28 3700
数仓开发之 DWD 层交易域加购事务事实表 DWD层设计要点： DWD 层的设计依据 : 维度建模理论，该层存储维度模型的事实表 DWD 层的数据存储格式 : orc 列式存储 + snappy 压缩 DWD 层表名的命名规范 : dwd_数据域_表名_单分区增量****全量标识（ inc / full ） 交易域加购事务事实表 ...
数仓学习笔记(5)——数仓搭建(DWD层)
qq_64557330的博客
09-06 1231
注意：需要开始的clear_data方法是因为累计型快照的9999_99_99表里本身就是有数据的，当每日进行装载的时候，完成的数据表会加入该天的分区，而没有完成的数据就会覆盖9999_99_99表中原有的数据。但是如果碰到某些特殊情况，当该天的表数据全部被完成，那么所有的数据都会写入到该天的对应分区中，那么就不会有数据覆盖到9999_99_99的原有数据中，此时应该把9999_99_99中的数据进行手动清空，这样就不会有数据多余。，然后使用get_json_object函数解析每个字段。
【实时数仓】DWD层需求分析及实现思路、idea环境搭建、实现DWD层处理用户行为日志的功能
weixin_43923463的博客
12-12 1414
建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。前端埋点中的数据全部放在kafka中ods_base_log主题中，如启动日志，页面访问日志，曝光日志等。虽然同是日志，但是却分为不同的种类，将来做数据统计时，全部从这一个主题中获取数据不方便。所以需要从ods_base_log主题中将数据取出来，根据日志的类型，将不同类型的数据放到不同
（31）数仓搭建-DWD 层
song_quan_的博客
07-12 277
1）对用户行为数据解析。 2）对核心数据进行判空过滤。 3）对业务数据采用维度模型重新建模。 、 1.DWD 层（用户行为日志解析） 1.1日志格式回顾 （1）页面埋点日志 （2）启动日志 2.get_json_object 函数使用 1）数据 [{"name":" 大 郎 ","sex":" 男 ","age":"25"},{"name":" 西 门 庆 ","sex":" 男 ","age":"47"}] 2）取出第一个 json 对象 hive..
数仓搭建——DWD层
zhangzhagn_的博客
07-27 762
数仓搭建笔记——DWD层
数据仓库之DWD层
jianghuaijie的博客
01-02 8317
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后，进行大概的梳理，再与业务方沟通整个业务过程的流转过程，对业务的整个生命周期进行分析，明确关键的业务步骤，在能满足业务需求的前提下，尽可能设计出更通用的模型。 业务方有时只仅仅只是考虑了当下的情况。例如业务想要一个审核通过人员的明细数据，我们设计了一个全量的审核明细表，过了几天，业务
数据仓库开发实战教程
01-31
很不错的数据仓库实战教程，45个视频，很详尽的介绍，看后受益匪浅。
从0到1简单搭建加载数仓DWD层（业务数据解析）
huzechen的博客
12-28 960
来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。这节详解数仓DWD层（关于用户交易等业务数据）...
数据仓库的DWD层-详解与最佳实践
一个8年大数据开发工程师的碎碎念
07-29 4100
DWD层,全称Data Warehouse Detail,是数据仓库分层架构中的细节层。它位于ODS(Operational Data Store)层之上,DWS(Data Warehouse Service)层之下,是连接原始数据和汇总数据的重要桥梁。
数仓DWD层(明细层-data warehouse detail)的构建
s1275200879的博客
02-10 992
(2)事实表跟维度表：事实表是指其中保存了大量业务度量数据的表，是数仓最核心的表。比如说你做一个销售主题，那么ods中的 订单详情表 就是事实表，而 产品分类表、区域表、店铺表就是维度表。比如我有100w用户，用户表记录了他们的状态，如果部分用户状态每天都有更新，我采用每天存全量用户数据的方式来记录历史和更新的状态，这样极大浪费存储空间，我用拉链表的话，每天把跟新用户的数据插入到用户表，这样既保留了历史数据，并且使存储最为节约。总结: 这层主要是清洗、转换数据，区分事实表跟维度表构建拉链表。
数仓之模型开发实战
u010959946的专栏
08-31 909
首先我们在数仓的ods层构建三张与业务库表结构一致的表分别为ods_sale、ods_commodity、ods_area，我们使用前文提到的datax从业务库将三张表的全量数据同步到数仓的ods库表，同时将商品和地区两张维度表的全量同步任务配置到azkaban定时，而对于销售流水表则基于销售时间进行增量同步。这就是一个简单的基于分析需求构建数仓多层表的整体流程，最后速度快的核心就在于我们通过预处理的方式把原始表进行聚合处理生成一个小数量级的统计表。那么在数仓中我们如何从原始库表生成这张聚合表呢。.....
【离线数仓项目】——电商域DWD层开发实战
最新发布
庄小焱
07-12 1047
本文主要介绍了离线数仓项目中电商域DWD层的开发实战。DWD层是数据仓库架构中的明细数据层，对ODS层的原始数据进行清洗、规范、整合与业务建模。它具有数据清洗、标准化、业务建模、整合、维度挂载等作用，常见设计特征包括一致性、明细级建模、保留历史记录等。文中还给出了交易支付场景下的DWD层表示例，以及DWD层设计规范、采集策略、实战示例和数据思考等内容。
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 5613
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
大数据中搭建数仓是dwd层和dws层的具体区别是什么，ads层和dws层的具体区别是什么，如何理解dws层是一张大宽表
05-09
<think>嗯，用户想了解大数据数仓中的DWD、DWS、ADS层的区别，特别是DWS层的宽表特性。首先，我需要回顾一下数仓分层的概念，确保自己理解正确。根据用户提供的引用内容，数仓通常分为ODS、DWD、DWS、DWT、ADS等层。用户主要关注的是DWD、DWS、ADS这三层的区别，以及DWS层的宽表特性。 首先，DWD层是数据明细层，引用[1]提到DWD层做了数据清洗、规范化、维度退化等工作。这意味着DWD层的数据是干净的、结构化的，并且可能已经关联了一些维度信息，但仍然是明细数据，没有聚合。例如，订单表中的每个订单记录可能包含用户ID、商品ID等，但需要关联用户和商品维度表才能获得更多信息。 接下来是DWS层，即服务数据层。根据引用[3]，DWS层处理的是汇总数据，比如用户行为的各种次数和金额。用户提到的宽表特性应该是在这一层实现的。宽表通常是指将多个相关的事实表和维度表进行关联，生成一张包含大量字段的表，以减少后续查询时的连接操作。例如，用户的行为数据（登录、点赞、下单等）可能被汇总到一张宽表中，每个用户对应一行，包含多个指标字段。 然后是ADS层，即应用数据层。引用[1]指出ADS层对接具体应用需求，提供高度聚合的数据。这意味着ADS层的数据已经是高度汇总的，可能直接用于报表、BI工具或API接口。例如，某个应用需要展示每日销售总额，ADS层可能已经预先计算好了这些数据，以便快速查询。 现在需要明确这三层的区别。DWD层是明细数据，经过清洗和规范化；DWS层是汇总数据，形成宽表以减少关联操作；ADS层是针对具体应用的聚合数据。DWS层的宽表特性主要体现在其维度整合和指标预聚合上，比如将用户的各种行为指标整合到一张表中，方便后续分析。 用户可能是在学习数仓设计，或者正在准备面试，需要清晰理解各层的职责。需要确保回答结构清晰，对比明确，并举例说明宽表的应用场景。同时，需要参考提供的引用内容，确保信息准确，比如引用[2]提到实时计算层使用Flink处理ETL，可能影响DWD层的实时数据处理方式，但用户的问题主要集中在离线数仓的分层，所以可能不需要深入实时处理部分。 另外，用户可能存在的疑问包括：为什么需要分层？各层如何协作？宽表的设计原则是什么？是否所有数仓都需要这些层？需要简明扼要地解答这些潜在问题，但用户当前的问题集中在区别和宽表特性，应优先回答这些，再通过相关问题拓展。 需要检查是否有遗漏的关键点，比如DWT层（主题数据层）是否与DWS层有重叠，但根据引用[1]，DWT层可能更偏向主题的聚合，而DWS是汇总层，可能在粒度上有所不同。不过用户没有提到DWT，所以可以暂时忽略，专注于用户提到的三层。 最后，确保回答符合格式要求，使用中文，行内公式用$...$，独立公式用$$...$$，但用户的问题不涉及数学公式，可能不需要使用。引用标记需要正确，比如引用[1]、[2]、[3]在适当的位置。例如，在解释DWD层时引用[1]提到的清洗和规范化，DWS层引用[3]的汇总操作等。</think>### 大数据数仓分层详解：DWD、DWS、ADS 的区别与 DWS 层宽表特性 #### 一、核心分层对比 | 层级 | 名称 | 数据粒度 | 核心职责 | 典型场景示例 | 引用来源 | |------|---------------------|----------------|--------------------------------------------------------------------------|----------------------------------------------------------------------------|----------| | DWD | 数据明细层 | **原子粒度** | 清洗脏数据、规范化字段、维度退化（如将用户 ID 关联到用户信息） | 原始订单表 → 清洗后订单表（含用户基础信息、商品基础信息） | [^1][^3] | | DWS | 服务数据层 | **主题粒度** | 按主题域预聚合、构建宽表（多维度整合）、生成公共指标 | 用户行为宽表（含登录次数、点赞次数、下单金额等跨业务线指标） | [^3] | | ADS | 应用数据层 | **应用粒度** | 按业务需求定制化聚合（如报表、接口、算法特征） | 大屏展示的日活用户数、营销活动 ROI 分析表 | [^2] | #### 二、DWS 层的宽表特性详解 1. **宽表定义** 宽表是通过 **多表关联 + 指标预计算** 生成的宽维度表，通常包含以下特征： - **字段冗余度高**：整合 10+ 个维度（如时间、地域、用户属性） - **指标聚合度深**：预计算留存率、转化漏斗等复杂指标 - **查询性能优化**：通过空间换时间减少 JOIN 操作 2. **设计原则** ```sql -- 示例：用户行为宽表（DWS 层） CREATE TABLE dws_user_behavior_wide ( user_id STRING COMMENT '用户ID', dt STRING COMMENT '日期', -- 维度字段（冗余存储） age_group STRING COMMENT '年龄段', city STRING COMMENT '所在城市', -- 行为指标（预聚合） login_count BIGINT COMMENT '当日登录次数', order_amount DECIMAL(18,2) COMMENT '当日下单总金额', cart_add_count BIGINT COMMENT '加购次数' ) PARTITIONED BY (dt); ``` - **维度整合**：将用户画像、商品类目等维度退化到事实表中[^1] - **时间周期**：按天/周/月等固定周期聚合（如 `dt` 分区字段）[^3] - **业务域划分**：按用户、商品、交易等主题域构建独立宽表[^2] 3. **技术价值** - **查询提速**：BI 工具直接查询宽表，响应时间从分钟级降至秒级[^2] - **计算资源节省**：避免重复计算公共指标（如日活用户数被多个应用复用） - **数据一致性**：通过统一加工逻辑消除指标二义性（如 GMV 的计算口径） #### 三、分层协作流程图解 ``` 原始数据 → ODS层（原始存储） ↓ ETL清洗 DWD层（明细数据） ↓ 维度关联 + 轻度汇总 DWS层（宽表） ↓ 业务定制聚合 ADS层（应用数据） ↓ 服务接口/报表 最终应用 ``` #### 四、典型场景差异示例 1. **DWD 层数据** ```json { "order_id": "202311010001", "user_id": "u123", "item_id": "i456", "price": 299.00, "status": 2, "create_time": "2023-11-01 10:00:00" } ``` - 特点：保留原始交易明细，含未关联的 `user_id`/`item_id` 外键[^3] 2. **DWS 层宽表** ```json { "user_id": "u123", "dt": "2023-11-01", "city": "北京", "age": 25, "total_order_amount": 1500.00, "daily_login_count": 3 } ``` - 特点：按用户-日期维度聚合，整合用户属性和行为指标[^1] 3. **ADS 层数据** ```json { "dt": "2023-11-01", "city": "北京", "age_group": "18-30", "gmv": 1200000.00, "active_user_count": 50000 } ``` - 特点：按城市-年龄段聚合，满足营销分析需求 --- ### 相关问题 1. **维度退化在 DWD 和 DWS 层的实现有何不同？** - DWD 层退化基础维度（如用户性别），DWS 层退化复杂维度（如用户生命周期标签） 2. **宽表是否会导致存储膨胀？如何平衡性能与成本？** - 通过列式存储（Parquet/ORC）压缩 + 生命周期管理（自动清理旧分区）优化 3. **实时数仓中 DWS 层宽表如何实现？** - 使用 Flink 动态关联维表（如 HBase） + 窗口聚合生成实时宽表[^2] [^1]: 数仓分层模型中各层的职责定义与数据加工逻辑 : 离线/实时数仓架构中宽表的技术实现与优化策略 : 用户行为分析场景下的宽表构建与指标设计实践
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值